আধুনিক লার্জ ল্যাঙ্গুয়েজ মডেলগুলোতে ট্রান্সফরমার রাজত্ব করলেও এর একটি মারাত্মক প্রযুক্তিগত সীমাবদ্ধতা রয়েছে: কোয়াড্রেটিক বটলনেক ($O(N^2)$)। সিকোয়েন্সের দৈর্ঘ্য $N$ দ্বিগুণ হলে সেলফ-অ্যাটেনশনের মেমরি ও গণনার খরচ চারগুণ বৃদ্ধি পায়। ফলে লাখ লাখ টোকেনের টেক্সট বা দীর্ঘ ভিডিও প্রসেস করা অত্যন্ত ব্যয়বহুল হয়ে ওঠে। ২০২৩ সালে অ্যালবার্ট গু এবং ট্রি ডাও আবিষ্কার করেন ম্যাম্বা (Mamba)। অবিচ্ছিন্ন স্টেট-স্পেস মডেল (SSM)-এর ওপর প্রতিষ্ঠিত এই মডেলটি ট্রান্সফরমারের সমমানের বুদ্ধিমত্তা প্রদর্শন করে কিন্তু সময় ও মেমরি খরচকে লিনিয়ার $O(N)$ জটিলতায় নামিয়ে আনে।
১. অবিচ্ছিন্ন স্টেট-স্পেস সমীকরণ
একটি অবিচ্ছিন্ন স্টেট-স্পেস মডেল একটি ইনপুট সংকেত $x(t)$-কে একটি লুকায়িত অবস্থা $h(t) in mathbb{R}^N$-এর মাধ্যমে আউটপুট $y(t)$-এ রূপান্তরিত করে দুটি সাধারণ সমীকরণের সাহায্যে:
$$h'(t) = A h(t) + B x(t)$$
$$y(t) = C h(t) + D x(t)$$
২. হিপো (HiPPO) ফ্রেমওয়ার্ক ও মেমরি সংরক্ষণ
ম্যাট্রিক্স $A$ যদি এলোমেলোভাবে নির্ধারণ করা হয়, তবে মডেল অতীত স্মৃতি দ্রুত ভুলে যায়। ২০২০ সালে অ্যালবার্ট গু আবিষ্কার করেন HiPPO ফ্রেমওয়ার্ক। তারা প্রমাণ করেন যে লিজেন্ড্রে অর্থোগোনাল পলিনোমিয়াল (Legendre Polynomials)-এর সহগগুলোকে ট্র্যাক করার মাধ্যমে ম্যাট্রিক্স $A$ এমন একটি রূপ ধারণ করে যা লক্ষাধিক সময়-পদক্ষেপ ধরে অতীতের প্রতিটি সংকেত নিখুঁতভাবে মনে রাখতে পারে।
৩. দ্বৈত রূপ: রিকারেন্স বনাম কনভোলিউশন
স্টেট-স্পেস মডেলকে কম্পিউটারে ব্যবহারের জন্য ডিসক্রিটাইজ করা হলে এর দুটি অসাধারণ দ্বৈত রূপ উন্মোচিত হয়:
- ইনফারেন্সের সময় রিকারেন্স ($O(1)$): টোকেন তৈরির সময় এটি একটি সাধারণ আরএনএন-এর মতো কাজ করে, যার ফলে কোনো বিশালাকার KV ক্যাশ মেমরিতে রাখতে হয় না। মেমরি খরচ সম্পূর্ণ ধ্রুবক থাকে।
- ট্রেনিংয়ের সময় কনভোলিউশন ($O(N log N)$): সম্পূর্ণ সিকোয়েন্সকে প্যারালাল ফাস্ট ফুরিয়ার রূপান্তরের (FFT) মাধ্যমে একযোগে প্রশিক্ষণ দেওয়া যায়।
৪. ম্যাম্বা এবং সিলেক্টিভ স্টেট স্পেস (S6)
আগের এসএসএম মডেলগুলো ইনপুট নির্বিশেষে স্থিরভাবে কাজ করত (Time-Invariant)। কিন্তু ম্যাম্বা প্যারামিটারগুলোকে ইনপুটের ওপর নির্ভরশীল করে তোলে: $B_t = f(x_t), C_t = f(x_t), Delta_t = f(x_t)$। এর ফলে অপ্রয়োজনীয় তথ্য ফেলে দিয়ে কেবল গুরুত্বপূর্ণ তথ্য সংরক্ষণ করা সম্ভব হয়। জিপিইউর উচ্চগতির SRAM মেমরিতে হার্ডওয়্যার-সচেতন প্যারালাল স্ক্যান বাস্তবায়নের মাধ্যমে ম্যাম্বা লিনিয়ার-টাইমে ফ্ল্যাশ-অ্যাটেনশনের চেয়েও দ্রুত কাজ সম্পন্ন করে।
