PPO-ভিত্তিক রিইনফোর্সমেন্ট লার্নিং ফ্রম হিউম্যান ফিডব্যাক (RLHF) যুগান্তকারী সাফল্য আনলেও এটি পরিচালনাগতভাবে অত্যন্ত জটিল ও অস্থিতিশীল। একসাথে চারটি বিশাল নিউরাল নেটওয়ার্ক চালানো বিপুল মেমরি ও সূক্ষ্ম হাইপারপ্যারামিটার সামঞ্জস্য দাবি করে। ২০২৩ সালে স্ট্যানফোর্ড বিশ্ববিদ্যালয়ের রাফায়েল রাফাইলোভ প্রমুখ উদ্ভাবন করেন Direct Preference Optimization (DPO)। তারা গাণিতিকভাবে প্রমাণ করেন যে কোনো পৃথক রিওয়ার্ড মডেল তৈরি না করে এবং কোনো আরএল স্যাম্পলিং ছাড়াই সরাসরি মানবীয় পছন্দ অনুযায়ী মডেল অপটিমাইজ করা সম্ভব।
১. আদর্শ নীতির গাণিতিক সমাধান
চিরায়ত আরএলএইচএফের কেএল-পেনাল্টিযুক্ত লক্ষ্যমাত্রাকে গাণিতিকভাবে বিশ্লেষণ করলে দেখা যায় যে এর সর্বোচ্চ সমাধানের একটি সুনির্দিষ্ট বদ্ধ রূপ (Closed-Form Solution) রয়েছে:
pi^*(y mid x) = frac{1}{Z(x)} pi_{text{ref}}(y mid x) expleft( frac{1}{beta} r(x, y) right)
যেখানে $Z(x)$ হলো একটি পার্টিশন ফাংশন। এটি প্রমাণ করে যে রিওয়ার্ড ফাংশন $r(x, y)$ এবং ভাষা মডেলের সম্ভাব্যতা অনুপাতের মধ্যে একটি প্রত্যক্ষ গাণিতিক সম্পর্ক বিদ্যমান।
২. রিওয়ার্ড ফাংশন বাদ দেওয়া
DPO-এর মূল ম্যাজিক হলো ওপরের সমীকরণটিকে উল্টে দিয়ে অজানা রিওয়ার্ড $r(x, y)$-কে সরাসরি মডেলের লগ-সম্ভাব্যতা দ্বারা প্রকাশ করা:
r(x, y) = beta log frac{pi^*(y mid x)}{pi_{text{ref}}(y mid x)} + beta log Z(x)
এই মানটিকে ব্র্যাডলি-টেরি সমীকরণে বসিয়ে দিলে জটিল পার্টিশন ফাংশন $Z(x)$ উভয় পাশ থেকে কাটাকাটি হয়ে সম্পূর্ণ বিলুপ্ত হয়ে যায়:
P(y_w succ y_l mid x) = sigmaleft( beta log frac{pi^*(y_w mid x)}{pi_{text{ref}}(y_w mid x)} – beta log frac{pi^*(y_l mid x)}{pi_{text{ref}}(y_l mid x)} right)
৩. ডিপিও লস ফাংশনের রূপ
এর ফলে আরএলএইচএফের পুরো প্রক্রিয়াটি সাধারণ সুপারভাইজড লার্নিংয়ের মতো একটি সহজ বাইনারি ক্রস-এনট্রপি লস ফাংশনে রূপ নেয়:
mathcal{L}_{text{DPO}}(theta; pi_{text{ref}}) = – mathbb{E}_{(x, y_w, y_l) sim mathcal{D}} left[ log sigmaleft( beta log frac{pi_theta(y_w mid x)}{pi_{text{ref}}(y_w mid x)} – beta log frac{pi_theta(y_l mid x)}{pi_{text{ref}}(y_l mid x)} right) right]
মডেলটি সঠিক বা প্রশংসিত উত্তরের ($y_w$) সম্ভাবনা বাড়িয়ে দেয় এবং বাতিল উত্তরের ($y_l$) সম্ভাবনা কমিয়ে দেয়। কোনো জটিল অ্যাক্টর-ক্রিটিক ট্রেইনিং ছাড়াই DPO ভাষা মডেলকে দ্বিগুণ দ্রুতগতিতে মানুষের পছন্দের সাথে সারিবদ্ধ করতে সক্ষম।
