আদিম ল্যাঙ্গুয়েজ মডেলগুলোর কনটেক্সট উইন্ডো মাত্র ২,০৪৮ টোকেনে সীমাবদ্ধ ছিল—যা একটি ছোট প্রবন্ধের সমান। আজ অত্যাধুনিক এআই মডেলগুলো অনায়াসে এক বা দুই মিলিয়ন টোকেন একবারে ধারণ করতে পারে, যা পুরো লাইব্রেরি, শত শত কোড ফাইল বা ঘণ্টার পর ঘণ্টা ভিডিওর সমতুল্য। এই সুবিশাল দৈর্ঘ্যে পৌঁছাতে সেলফ-অ্যাটেনশনের মেমরি বিস্ফোরণ এবং দূরত্বের ভুল প্রতিরোধে উদ্ভাবিত হয়েছে রিং-অ্যাটেনশন (RingAttention) এবং RoPE ফ্রিকোয়েন্সি স্কেলিং।
১. RoPE ফ্রিকোয়েন্সি স্কেলিং
রোটারি পজিশনাল এম্বেডিংয়ে (RoPE) শব্দের অবস্থান কোণের আবর্তনের মাধ্যমে বোঝানো হয়। ৪,০০০ টোকেনের জন্য তৈরি মডেলকে সরাসরি ৩২,০০০ টোকেনে চালালে নতুন কোণের মান দেখে মডেলের সমস্ত হিসাব ভেঙে পড়ে।
নতুন করে পুরো প্রশিক্ষণ না দিয়ে গণিতের মাধ্যমে একে বিস্তৃত করা হয়:
- NTK-Aware স্কেলিং: মূল বেস ফ্রিকোয়েন্সি $b$-কে সমন্বয় করে উচ্চ-ফ্রিকোয়েন্সির স্থানীয় ব্যাকরণকে ঠিক রাখা হয় এবং নিম্ন-ফ্রিকোয়েন্সির দীর্ঘ দূরত্বের কোণকে সংকুচিত করা হয়।
- YaRN পদ্ধতি: তাপমাত্রা সমন্বয়ের মাধ্যমে বহু মিলিয়ন টোকেন দৈর্ঘ্যেও মনোযোগ নষ্ট হতে দেয় না।
২. রিং-অ্যাটেনশন (RingAttention): বৃত্তাকার মেমরি বিতরণ
১০ লাখ টোকেনের Key-Value ক্যাশ একটিমাত্র জিপিইউর মেমরিতে রাখা অসম্ভব (১০০ জিবির বেশি)। ২০২৩ সালে ইউসি বার্কলের গবেষকরা উদ্ভাবন করেন RingAttention। এখানে একাধিক জিপিইউকে একটি বৃত্তাকার বা রিং নেটওয়ার্কে যুক্ত করা হয়:
- প্রতিটি জিপিইউ সম্পূর্ণ লেখার একটি অংশ ধারণ করে।
- নিজের অংশের হিসাব করার পাশাপাশি প্রতিটি জিপিইউ ব্যাকগ্রাউন্ডে তার ডেটা পাশের জিপিইউকে পাঠিয়ে দেয় এবং অপর পাশের জিপিইউ থেকে নতুন ডেটা গ্রহণ করে।
- অনলাইন সফটম্যাক্সের সাহায্যে ধাপে ধাপে পুরো বৃত্তের তথ্য সমন্বয় করা হয়।
যোগাযোগ ও গণনাকর্ম একসাথে চলায় মেমরির সীমাবদ্ধতা দূর হয়ে যায় এবং ক্লাস্টারে জিপিইউ যোগ করে কনটেক্সট উইন্ডোকে কোটি টোকেন পর্যন্ত বিস্তৃত করা সম্ভব হয়।
৩. নিডল-ইন-আ-হেস্ট্যাক (Needle In A Haystack) পরীক্ষা
মডেল সত্যি পুরো লেখাটি পড়ছে নাকি মাঝের অংশ বাদ দিয়ে দিচ্ছে তা যাচাই করতে ১০ লাখ শব্দের বিশাল উপন্যাসের কোনো এক অজানা কোণায় একটি গোপন বাক্য লুকিয়ে রেখে প্রশ্ন করা হয়। আধুনিক ফ্রন্টিয়ার মডেলগুলো শূন্য থেকে শতভাগ গভীরতার যেকোনো স্থান থেকে শতভাগ নির্ভুলভাবে তথ্য উদ্ধার করে তাদের কার্যকর স্মৃতিশক্তির প্রমাণ দিয়েছে।
