একটি সাধারণ প্রি-ট্রেইনড বেস মডেল শুধুই পরবর্তী টোকেন অনুমানের পরিসংখ্যানিক ইঞ্জিন। তাকে যদি জিজ্ঞেস করা হয় “বাংলাদেশের রাজধানী কোথায়?”, তবে সে হয়তো উত্তর না দিয়ে পরবর্তী প্রশ্ন হিসেবে লিখতে পারে “ভারতের রাজধানী কোথায়? পাকিস্তানের রাজধানী কোথায়?” কারণ ইন্টারনেটে প্রশ্নমালার টেক্সট সেভাবেই থাকে। সুপারভাইজড ফাইন-টিউনিং (SFT) এবং ইন্সট্রাকশন টিউনিং এই অন্ধ টেক্সট কমপ্লিশনকে একজন বুদ্ধিমান, সুশৃঙ্খল ও নির্দেশনাকারী সহকারীতে রূপান্তর করে।
১. চ্যাট মার্কআপ ও কাঠামোগত নিরাপত্তা (ChatML)
ব্যবহারকারীর নির্দেশ এবং সিস্টেমের কঠোর নিয়মাবলী আলাদা রাখতে আধুনিক এলএলএমগুলো ChatML বা বিশেষ টোকেন কাঠামো ব্যবহার করে:
<|im_start|>system
আপনি একজন সহায়ক শিক্ষক।<|im_end|>
<|im_start|>user
দ্বিঘাত সমীকরণ কী?<|im_end|>
<|im_start|>assistant
যে সমীকরণে অজ্ঞাত রাশির সর্বোচ্চ ঘাত দুই...<|im_end|>এই বিশেষ টোকেনগুলো ব্যবহারকারী টাইপ করতে পারে না, ফলে প্রম্পট ইনজেকশন বা হ্যাকিং থেকে মডেল সুরক্ষিত থাকে।
২. প্রম্পট-রেসপন্স লস মাস্কিং
ফাইন-টিউনিংয়ের সময় একটি বড় ভুল হলো পুরো টেক্সটের ওপর লস হিসাব করা। ব্যবহারকারী কী প্রম্পট লিখেছে তা মুখস্থ করার জন্য মডেলকে গ্রেড দেওয়া উচিত নয়; মডেলকে কেবল তার দেওয়া উত্তরের নির্ভুলতার জন্য অপটিমাইজ করতে হবে।
যদি প্রম্পট $১ dots T$ টোকেন এবং উত্তর $T+১ dots N$ টোকেন হয়, তবে লস মাস্কিং সমীকরণ দাঁড়ায়:
$mathcal{L}_{text{SFT}}(theta) = – sum_{t=T+1}^N log P_theta(x_t mid x_1, dots, x_{t-1})$
ব্যবহারকারীর প্রম্পটের জন্য লস শূন্য করে দেওয়া হয়, যার ফলে মডেলের সমস্ত গ্রেডিয়েন্ট আপডেট কেবল সঠিক উত্তরের শৈলী ও তথ্য গঠনে ব্যয় হয়।
৩. মাল্টি-টাস্ক সাধারণীকরণ
গুগলের Flan গবেষণায় দেখা গেছে যে শত শত বৈচিত্র্যময় কাজের নির্দেশ (সারাংশ তৈরি, অনুবাদ, কোডিং, গণিত) একসাথে ফাইন-টিউন করলে মডেলের অভ্যন্তরীণ বোধশক্তি নাটকীয়ভাবে বৃদ্ধি পায়। ফলে জীবনে কখনো দেখেনি এমন সম্পূর্ণ নতুন কোনো নির্দেশ পেলেও মডেলটি নিখুঁতভাবে তার সমাধান বের করতে সক্ষম হয়।
