আধুনিক কৃত্রিম বুদ্ধিমত্তার সবচেয়ে বিস্ময়কর ঘটনাগুলোর একটি হলো In-Context Learning (ICL): মডেলের প্যারামিটারে কোনো পরিবর্তন বা গ্রেডিয়েন্ট আপডেট না ঘটিয়ে কেবল প্রম্পটের ভেতরে কয়েকটি উদাহরণ দেখিয়ে সম্পূর্ণ নতুন কাজ শিখিয়ে ফেলা। অতীতে একে রহস্যময় মনে হলেও মেকানিস্টিক ইন্টারপ্রিটেবিলিটি গবেষণায় উন্মোচিত হয়েছে এর পেছনের নিউরাল সার্কিট—বিশেষ করে ইন্ডাকশন হেডস (Induction Heads) এবং লুকায়িত মেটা-অপটিমাইজেশন গতিবিদ্যা।
১. ইন্ডাকশন হেডসের অ্যানাটমি
২০২২ সালে অ্যানথ্রপিকের গবেষকরা আবিষ্কার করেন যে ট্রান্সফরমারে দুই স্তরবিশিষ্ট কিছু বিশেষ অ্যাটেনশন হেড থাকে যা প্যাটার্ন কপি করার অ্যালগরিদম চালায়:
$dots [A][B] dots [A] longrightarrow [B]$
প্রম্পটের কোথাও যদি টোকেন $[A]$-এর পর $[B]$ থাকে, এবং পরে আবার $[A]$ ফিরে আসে, তবে এই হেডটি সরাসরি অতীত থেকে $[B]$-এর মান এনে পরবর্তী পূর্বাভাস হিসেবে প্রদান করে। এই দুটি স্তরের সমন্বিত কাজ কোটি কোটি শব্দ ও ব্যাকরণগত ধারণার ওপর একযোগে কার্যকর হয়ে ইন-কনটেক্সট শেখার ভিত্তি তৈরি করে।
২. অন্তর্নিহিত গ্রেডিয়েন্ট ডিসেন্ট
গবেষণায় দেখা গেছে যে ট্রান্সফরমারের সেলফ-অ্যাটেনশন ম্যাট্রিক্স ইনফারেন্সের সময় প্রম্পটের উদাহরণগুলোকে ডেটা হিসেবে নিয়ে অভ্যন্তরীণভাবে গ্রেডিয়েন্ট ডিসেন্টের মতো কাজ করে। ফলে প্রম্পটে দেওয়া নির্দেশনাগুলো মডেলের ভেতর একধরনের ক্ষণস্থায়ী নতুন ওজন সমন্বয় তৈরি করে।
৩. চেইন-অব-থট (Chain-of-Thought) ও যুক্তিশৃঙ্খল
একটি ট্রান্সফরমার প্রতি টোকেনের জন্য একটি নির্দিষ্ট পরিমাণ কম্পিউটেশন বা ফ্লপস খরচ করতে পারে। কোনো জটিল গাণিতিক সমস্যার সরাসরি এক শব্দে উত্তর দিতে বললে মডেলের পক্ষে একটিমাত্র ফরোয়ার্ড পাসে পুরো হিসাব সমাধান করা অসম্ভব হয়ে পড়ে।
“ধাপে ধাপে চিন্তা করো” (Chain-of-Thought) কৌশল ব্যবহার করলে মডেলটি উত্তর দেওয়ার আগে মধ্যবর্তী যুক্তির টোকেন তৈরি করে। প্রতিটি টোকেন তার KV ক্যাশে যুক্ত হয় এবং পরবর্তী পদক্ষেপের জন্য একটি সহায়ক মেমরি বা ভ্যারিয়েবল হিসেবে কাজ করে, যার ফলে মডেলের জটিল যুক্তি ও গণিতের নির্ভুলতা বহুগুণ বৃদ্ধি পায়।
