আদি ট্রান্সফরমার মডেলে ইনপুট ভেক্টরের সাথে সরাসরি সাইন ও কোসাইন পজিশন ভেক্টর যোগ করা হতো ($x_i + p_i$)। কিন্তু এই যোগভিত্তিক অবস্থান নির্দেশক মডেলকে তার প্রশিক্ষণ দৈর্ঘ্যের বাইরে দীর্ঘ টেক্সট পড়তে মারাত্মকভাবে বাধা দেয়। ২০২১ সালে জিয়ানলিন সু আবিষ্কার করেন রোটারি পজিশন এম্বেডিং (RoPE)। এটি কোনো ভেক্টর যোগ না করে, জটিল সমতলে (Complex Plane) অর্থোগোনাল ঘূর্ণন ম্যাট্রিক্সের সাহায্যে টোকেনের আপেক্ষিক দূরত্বকে নিখুঁত জ্যামিতিক কোণে রূপান্তরিত করে। আজ LLaMA, Mistral, Qwen ও DeepSeek-এর মতো বিশ্বের শীর্ষ মডেলগুলো RoPE ব্যবহার করে।
১. আপেক্ষিক অবস্থানের গাণিতিক উদ্দেশ্য
অবস্থান $m$ এবং $n$-এ থাকা দুটি টোকেনের কোয়েরি $q_m$ এবং কি $k_n$-এর ইনার প্রোডাক্ট কেবল তাদের শব্দার্থ এবং তাদের মধ্যবর্তী আপেক্ষিক ব্যবধান $m – n$-এর ওপর নির্ভর করা উচিত:
$$langle f_q(x_m, m), f_k(x_n, n) rangle = g(x_m, x_n, m – n)$$
চিরায়ত পদ্ধতিতে পজিশন ভেক্টর যোগ করায় বিভিন্ন ক্রস-টার্ম তৈরি হয়ে আপেক্ষিক দূরত্ব বিকৃত হয়ে যেত।
২. দ্বিমাত্রিক জটিল ঘূর্ণনের উপপাদন
জটিল সংখ্যা পদ্ধতিতে ভেক্টর দুটিকে কোণ $mtheta$ ও $ntheta$ দ্বারা আবর্তন করানো হয়:
$$q_m = q e^{i m theta}, quad k_n = k e^{i n theta}$$
হারমিশিয়ান ইনার প্রোডাক্ট নিলে দেখা যায়:
$$langle q_m, k_n rangle = text{Re}[ (q e^{i m theta}) (k e^{i n theta})^* ] = text{Re}[ q k^* e^{i (m – n)theta} ]$$
এখানে পরম অবস্থান $m$ এবং $n$ সম্পূর্ণ বিলুপ্ত হয়ে যায় এবং অবশিষ্ট থাকে কেবল আপেক্ষিক দূরত্বের কোণ $(m – n)theta$।
৩. উচ্চ মাত্রায় ব্লক-ডায়াগোনাল ঘূর্ণন
$d$-মাত্রিক স্পেসকে $d/2$ সংখ্যক দ্বিমাত্রিক অর্থোগোনাল সমতলে বিভক্ত করে প্রতিটি সমতলের জন্য পৃথক ফ্রিকোয়েন্সি $theta_j = 10000^{-2(j-1)/d}$ নির্ধারণ করা হয়। এটি কোনো ম্যাট্রিক্স গুণন ছাড়াই ভেক্টর এলিমেন্ট-ওয়াইজ অপারেশনের মাধ্যমে $O(d)$ সময়ে হিসাব করা যায়।
৪. দীর্ঘ কনটেক্সট উইন্ডো সম্প্রসারণ: NTK ও YaRN
মডেলকে ৪ হাজার টোকেন থেকে ১ লাখ ২৮ হাজার টোকেনে সম্প্রসারণ করতে NTK-Aware Scaling এবং YaRN উদ্ভাবন করা হয়। উচ্চ ফ্রিকোয়েন্সি (যা স্থানীয় ব্যাকরণ বোঝায়) অবিকৃত রেখে নিম্ন ফ্রিকোয়েন্সিগুলোকে (যা দূরবর্তী ক্রম বোঝায়) সূক্ষ্মভাবে স্কেল করার মাধ্যমে মডেল কোনো অতীত তথ্য না ভুলেই অসীম দৈর্ঘ্যের টেক্সট অনুধাবন করতে সক্ষম হয়।
