সুপারভাইজড ফাইন-টিউনিং একটি মডেলকে উত্তর লেখার বিন্যাস শেখাতে পারলেও কোনটি বেশি বুদ্ধিদীপ্ত, তথ্যবহুল বা নিরাপদ তা নিখুঁতভাবে সংজ্ঞায়িত করতে পারে না। মানুষের পক্ষে কোটি কোটি নিখুঁত উত্তর নিজ হাতে লিখে দেওয়া অসম্ভব, কিন্তু দুটি উত্তরের মধ্যে কোনটি বেশি ভালো তা বেছে নেওয়া খুবই সহজ। রিইনফোর্সমেন্ট লার্নিং ফ্রম হিউম্যান ফিডব্যাক (RLHF) মানুষের এই তুলনামূলক পছন্দকে কাজে লাগিয়ে একটি রিওয়ার্ড মডেল তৈরি করে এবং প্রক্সিমাল পলিসি অপটিমাইজেশনের (PPO) মাধ্যমে মডেলটিকে মানব সমাজের মূল্যবোধ ও নৈতিকতার সাথে সুসংগত করে তোলে।
১. ব্র্যাডলি-টেরি প্রেফারেন্স মডেল
একটি প্রম্পট $x$-এর জন্য দুটি মডেলের উত্তর $(y_w, y_l)$-এর মধ্যে মানুষ যদি $y_w$-কে বিজয়ী হিসেবে বেছে নেয়, তবে সেই পছন্দকে ১৯৫২ সালের ক্লাসিক্যাল ব্র্যাডলি-টেরি সমীকরণ দ্বারা প্রকাশ করা হয়:
P(y_w succ y_l mid x) = sigma(r_psi(x, y_w) – r_psi(x, y_l)) = frac{1}{1 + e^{-(r_psi(x, y_w) – r_psi(x, y_l))}}
যেখানে $r_psi(x, y)$ হলো একটি স্কেলার রিওয়ার্ড মডেল। মানব পরীক্ষকদের হাজার হাজার পছন্দ-অপছন্দের জোড়া থেকে এই রিওয়ার্ড মডেলটি শিখে ফেলে মানুষ কোন ধরনের উত্তর পছন্দ করে।
২. রিওয়ার্ড হ্যাকিং ও কেএল ডাইভারজেন্স পেনাল্টি
রিওয়ার্ড মডেলের ওপর নির্ভর করে মডেলটিকে মুক্তভাবে রিইনফোর্সমেন্ট লার্নিং শেখাতে গেলে একটি নতুন সংকট তৈরি হয়: রিওয়ার্ড হ্যাকিং। মডেলটি রিওয়ার্ড ফাংশনের কোনো ফাঁকফোকর খুঁজে নিয়ে অর্থহীন চাটুকারিতামূলক কথা বলে কৃত্রিমভাবে বেশি নম্বর নেওয়ার চেষ্টা করে।
মডেলকে সঠিক ভাষার সীমানায় ধরে রাখতে আদি রেফারেন্স মডেল $pi_{text{ref}}$-এর সাথে KL Divergence Penalty যুক্ত করা হয়:
R(x, y) = r_psi(x, y) – beta log frac{pi_theta(y mid x)}{pi_{text{ref}}(y mid x)}
এই সমীকরণ মডেলটিকে বেশি নম্বর পাওয়ার পাশাপাশি মূল ভাষার সাবলীল ব্যাকরণ ও ভাব বজায় রাখতে বাধ্য করে।
৩. প্রক্সিমাল পলিসি অপটিমাইজেশন (PPO)
ভাষার প্রতিটি শব্দ তৈরি করাকে একটি মার্কভ ডিসিশন প্রসেস (MDP) হিসেবে বিবেচনা করা হয়। নীতি পরিবর্তনের চরম আকস্মিকতা রোধ করতে PPO অ্যালগরিদম সম্ভাবনা অনুপাতকে ক্লিপ করে রাখে:
mathcal{L}_{text{PPO}}(theta) = mathbb{E}_t left[ minleft( rho_t(theta) hat{A}_t, , text{clip}(rho_t(theta), 1-epsilon, 1+epsilon) hat{A}_t right) right]
একসাথে চারটি নিউরাল নেটওয়ার্কের (Actor, Critic, Reference, এবং Reward) জটিল সমন্বয়ে RLHF প্রক্রিয়া আধুনিক ChatGPT এবং সমসাময়িক সুশৃঙ্খল এআই সিস্টেমগুলোর ভিত্তি স্থাপন করেছে।
