২০১৭ সালের জুনে প্রকাশিত আশিষ ভাসওয়ানি ও সহকর্মীদের যুগান্তকারী গবেষণাপত্র “Attention Is All You Need” উন্মোচন করে ট্রান্সফরমার আর্কিটেকচার। রিকারেন্স ও কনভোলিউশন বর্জন করে সম্পূর্ণভাবে সেলফ-অ্যাটেনশনের ওপর ভিত্তি করে গড়ে ওঠা এই মডেল আরএনএন-এর সিকোয়েন্সিয়াল সীমাবদ্ধতা চূর্ণ করে দেয়। এটি জিপিইউ হার্ডওয়্যারের পূর্ণ সমান্তরাল ব্যবহারের সুযোগ তৈরি করে এবং যেকোনো দুটি টোকেনের মধ্যবর্তী দূরত্বকে $O(1)$-এ নামিয়ে আনে। আজ ট্রান্সফরমার আধুনিক এআই ও ফাউন্ডেশন মডেলের অবিসংবাদিত ভিত্তি।
১. মাল্টি-হেড অ্যাটেনশন (MHA)
একটি মাত্র অ্যাটেনশন হেড ভাষার একাধিক ব্যাকরণিক ও অর্থগত দিক একসঙ্গে অনুধাবন করতে পারে না। ট্রান্সফরমার ইনপুটকে $h$ সংখ্যক স্বাধীন সাবস্পেসে বিভক্ত করে:
$$text{head}_i = text{Attention}(Q W_i^Q, K W_i^K, V W_i^V)$$
$$text{MultiHead}(Q, K, V) = text{Concat}(text{head}_1, dots, text{head}_h) W^O$$
এর ফলে কোনো হেড বাক্যের ব্যাকরণিক ক্রিয়াকে অনুসরণ করে, কোনো হেড সর্বনামের নির্দেশককে চিহ্নিত করে, আবার কোনো হেড দীর্ঘ দূরত্বের ঐতিহাসিক সম্পর্ক ট্র্যাক করে।
২. সাইনুসয়েডাল পজিশনাল এনকোডিং
সেলফ-অ্যাটেনশন নিজে থেকে শব্দের ক্রম বা অবস্থান বুঝতে পারে না (Permutation Equivariant)। এই সমস্যা সমাধানে ভাসওয়ানি সাইন ও কোসাইন তরঙ্গের সমন্বয়ে পজিশনাল ভেক্টর যোগ করেন:
$$text{PE}_{(pos, 2i)} = sinleft( frac{pos}{10000^{2i/d}} right), quad text{PE}_{(pos, 2i+1)} = cosleft( frac{pos}{10000^{2i/d}} right)$$
ত্রিকোণমিতিক নিয়মের কারণে যেকোনো দুটি অবস্থানের আপেক্ষিক দূরত্ব একটি লিনিয়ার রূপান্তর হিসেবে প্রকাশ পায়।
৩. পজিশন-ওয়াইজ ফিড-ফরওয়ার্ড নেটওয়ার্ক (FFN)
অ্যাটেনশন কেবল বিদ্যমান টোকেন ভেক্টরগুলোর সংমিশ্রণ তৈরি করে, কিন্তু নতুন কোনো নন-লিনিয়ার বৈশিষ্ট্য তৈরি করতে পারে না। প্রতিটি টোকেনে স্বতন্ত্রভাবে ৪ গুণ সম্প্রসারিত FFN প্রয়োগ করে নন-লিনিয়ার প্রজ্ঞা সঞ্চার করা হয়।
৪. রেসিড্যুয়াল স্ট্রিম: কেন্দ্রীয় যোগাযোগ বাস
আধুনিক মেকানিস্টিক ইন্টারপ্রেটেবিলিটি অনুযায়ী ট্রান্সফরমার হলো একটি অবিচ্ছিন্ন রেসিড্যুয়াল স্ট্রিম (Residual Stream)। প্রতিটি স্তর এই কেন্দ্রীয় বাস থেকে তথ্য পাঠ করে এবং প্রক্রিয়াজাত ফলাফল যোগ আকারে বাসে লিখে দেয়, যা বৃহৎ মডেল স্কেলিংয়ের মূল রহস্য।
