একটি লার্জ ল্যাঙ্গুয়েজ মডেলের শেষ স্তর সরাসরি কোনো শব্দ দেয় না; এটি পুরো শব্দভাণ্ডারের জন্য আননরমালাইজড লগিট ভেক্টর $mathbf{z} in mathbb{R}^{|mathcal{V}|}$ তৈরি করে। এই অবিচ্ছিন্ন সংখ্যাগুলোকে কীভাবে বাস্তব বাক্যের শব্দে রূপান্তর করা হবে—সেই ডিকোডিং কৌশল (Decoding Strategy) নির্ধারণ করে মডেলটি কি একই কথা বারবার পুনরাবৃত্তি করবে, নাকি সৃজনশীল ও সুসংগত আলোচনা উপহার দেবে। তাছাড়া আধুনিক স্পেকুলেটিভ ডিকোডিং কোনো গুণগত সমঝোতা ছাড়াই টেক্সট তৈরির গতি দ্বিগুণ থেকে তিনগুণ বাড়িয়ে দেয়।
১. তাপমাত্রার থার্মোডাইনামিক্স (Temperature Scaling)
সফটম্যাক্স সূত্রে টেম্পারেচার $T$ যোগ করে সম্ভাব্যতা বণ্টনকে নিয়ন্ত্রণ করা হয়:
P(w_i) = frac{exp(z_i / T)}{sum_{j=1}^{|mathcal{V}|} exp(z_j / T)}
- $T to 0$ (Greedy Search): সর্বদা সর্বোচ্চ স্কোরের শব্দটিই বেছে নেওয়া হয়। গণিত ও কোডিংয়ের জন্য এটি সেরা হলেও দীর্ঘ সংলাপে এটি বৃত্তাকার পুনরাবৃত্তি ঘটায়।
- $T = 1.0$: মডেলের প্রাকৃতিক সম্ভাব্যতা বণ্টন।
- $T > 1.0$: বণ্টনকে সমান ও চ্যাপ্টা করে তোলে, যার ফলে বিচিত্র ও সৃজনশীল শব্দ আসে, তবে অতিরিক্ত হলে বাক্য অর্থহীন হয়ে পড়ে।
২. টপ-$k$ বনাম টপ-$p$ (নিউক্লিয়াস) স্যাম্পলিং
শুধু তাপমাত্রা বাড়ালে শব্দভাণ্ডারের পেছনের অদ্ভুত অপ্রাসঙ্গিক শব্দ চলে আসার ঝুঁকি থাকে।
- টপ-$k$: কেবল শীর্ষ $k$-টি শব্দের মধ্যে থেকে বাছাই করে। কিন্তু ভাষা সব সময় সমান অনিশ্চিত থাকে না।
- টপ-$p$ (নিউক্লিয়াস স্যাম্পলিং): সঞ্চিত সম্ভাব্যতা যোগ করে যতক্ষণ পর্যন্ত $p$ (যেমন ০.৯) পূর্ণ না হয়, ঠিক ততক্ষণ পর্যন্ত সেরা শব্দগুলোকে তালিকায় রাখে। উত্তর যখন নিশ্চিত তখন তালিকা ছোট হয়ে যায়, আর যখন বিকল্প অনেক তখন তালিকা বড় হয়।
৩. স্পেকুলেটিভ ডিকোডিং (Speculative Decoding)
চিরায়ত নিয়মে ৭০ বিলিয়ন মডেল দিয়ে একটি একটি করে টোকেন তৈরি করা খুবই ধীরগতির। স্পেকুলেটিভ পদ্ধতিতে একটি ক্ষুদ্র ও ক্ষিপ্র ১ বিলিয়ন মডেল দ্রুত ৫টি টোকেনের খসড়া তৈরি করে ফেলে। এরপর মূল ৭০ বিলিয়ন মডেলটি একটিমাত্র ফরোয়ার্ড পাসে ৫টি টোকেন একসাথে যাচাই করে নেয়:
P(text{accept } hat{x}_i) = minleft(1, frac{P_{text{target}}(hat{x}_i)}{P_{text{draft}}(hat{x}_i)}right)
যেহেতু বড় মডেলের জন্য ১টি টোকেন তৈরি করা এবং ৫টি টোকেন একসাথে ভেরিফাই করার সময় প্রায় সমান, তাই এই প্রক্রিয়ায় গুণমানের চুল পরিমাণ ক্ষতি না করেই ইনফারেন্সের গতি ২ থেকে ৩ গুণ বৃদ্ধি পায়।
