চিরায়ত সিকোয়েন্স-টু-সিকোয়েন্স মডেলে এনকোডারকে একটি সম্পূর্ণ বাক্যকে একটি মাত্র নির্দিষ্ট মাত্রার ভেক্টরে ($c in mathbb{R}^d$) সংকুচিত করতে বাধ্য করা হতো। বাক্যের দৈর্ঘ্য বৃদ্ধির সাথে সাথে এই সংকুচিত বটলনেকে তথ্য নষ্ট হয়ে যেত। ২০১৪ সালে জিমিত্রি বাহদানাও, কিয়াংহিউন চো এবং ইয়োশুয়া বেনজিও আবিষ্কার করেন অ্যাটেনশন মেকানিজম (Attention Mechanism)। স্থির ভেক্টরের বদলে গতিশীল মেমরি অ্যাড্রেসিং ব্যবহারের মাধ্যমে এটি নিউরাল নেটওয়ার্ককে বটলনেক থেকে মুক্ত করে এবং আধুনিক এআই বিপ্লবের ভিত রচনা করে।
১. এনকোডার বটলনেক সংকট
দীর্ঘ বাক্য অনুবাদে শেষ হিডেন স্টেট $c = h_T$ বাক্যের সমস্ত ব্যাকরণ ও অর্থ ধরে রাখতে পারত না। ২০ শব্দের বেশি হলেই মডেলের অনুবাদ মান ব্যাপকভাবে ধসে পড়ত।
২. বাহদানাও অ্যাডিটিভ অ্যাটেনশন
বাহদানাও প্রস্তাব করেন যে ডিকোডারের প্রতিটি পদক্ষেপে একটি গতিশীল কনটেক্সট ভেক্টর $c_i = sum alpha_{ij} h_j$ তৈরি করা হবে। অ্যালাইনমেন্ট এনার্জি $e_{ij} = v_a^T tanh(W_a s_{i-1} + U_a h_j)$-এর ওপর সফটম্যাক্স প্রয়োগ করে মডেল স্বয়ংক্রিয়ভাবে শেখে বাক্যের কোন অংশে মনোযোগ দেওয়া প্রয়োজন।
৩. কোয়েরি, কি এবং ভ্যালু (QKV) দ্বৈততা
২০১৭ সালে ভাসওয়ানি এবং তার দল অ্যাটেনশনকে কম্পিউটার সায়েন্সের মেমরি রিট্রিভাল হিসেবে সংজ্ঞায়িত করেন:
- কোয়েরি ($Q$): বর্তমান অনুসন্ধান বা প্রশ্ন।
- কি ($K$): মেমরির অ্যাড্রেস বা সূচক।
- ভ্যালু ($V$): মেমরিতে সংরক্ষিত প্রকৃত তথ্য।
সাধারণ ডাটাবেজে একটি কোয়েরির সাথে একটি মাত্র কি মেলে। কিন্তু নিউরাল অ্যাটেনশন সমস্ত সংরক্ষিত তথ্যের ওপর একটি মসৃণ ও অন্তরীকরণযোগ্য সম্ভাব্যতা বণ্টন তৈরি করে তথ্য আহরণ করে।
৪. স্কেল্ড ডট-প্রোডাক্ট অ্যাটেনশনের গাণিতিক স্কেলিং
ম্যাট্রিক্স ডট প্রোডাক্ট $QK^T$ দ্রুত হলেও এর ভ্যারিয়েন্স ডাইমেনশন $d_k$-এর সমান হয় ($text{Var}(q^T k) = d_k$)। ফলে বড় মাত্রায় মান অনেক বেড়ে যায় এবং সফটম্যাক্স স্যাচুরেশনে চলে গিয়ে গ্রেডিয়েন্ট শূন্য হয়ে যায়। এই কারণে $sqrt{d_k}$ দিয়ে ভাগ করে ভ্যারিয়েন্স ১-এ নামিয়ে আনা হয়:
$$text{Attention}(Q, K, V) = text{softmax}left( frac{QK^T}{sqrt{d_k}} right) V$$
যা আধুনিক ট্রান্সফরমার আর্কিটেকচারের কেন্দ্রবিন্দু।
