জটিল কোনো গাণিতিক প্রমাণ বা বৈজ্ঞানিক গবেষণায় ৩০টি ধাপের মধ্যে ৩ নম্বর ধাপে একটি ভুল সূত্র বসালে বাকি পুরো প্রমাণটাই ভুল হয়ে যায়। অথচ সনাতন এআই মডেলে কেবল শেষ উত্তরটি ঠিক হলো কি না তা দেখে নম্বর দেওয়া হতো (Outcome Reward Model)। প্রসেস সুপারভিশন (Process Supervision) এবং Process Reward Models (PRM) যুক্তির এই ধারায় বৈপ্লবিক রূপান্তর ঘটিয়েছে—এখানে কেবল শেষ উত্তর নয়, বরং চিন্তার প্রতিটি পদক্ষেপকে কঠোরভাবে মূল্যায়ন করে সঠিক যুক্তির অনুসন্ধান নিশ্চিত করা হয়।
১. আউটকাম সুপারভিশনের মারাত্মক ফাঁকফোকর
শুধুমাত্র শেষ উত্তর যাচাই করার মধ্যে দুটি ভয়াবহ সমস্যা থাকে:
- কোন পদক্ষেপটি সঠিক ছিল আর কোনটি ভুল ছিল তা বোঝার কোনো উপায় থাকে না।
- কখনও কখনও দুটি ভুল পদক্ষেপ একে অপরকে কাটাকাটি করে দুর্ঘটনাবশত সঠিক উত্তরে পৌঁছে যায়। মডেল সেই ভুল যুক্তিকেই সফল মনে করে নিজের ওজনে সংরক্ষণ করে নেয়।
২. প্রসেস রিওয়ার্ড মডেল (PRM): পদক্ষেপে পদক্ষেপে নম্বর প্রদান
২০২৩ সালে ওপেনএআই-এর গবেষকরা PRM প্রস্তাব করেন। এখানে চিন্তার প্রতিটি পদক্ষেপের পর একটি বিশেষ রিওয়ার্ড মডেল দিয়ে পরীক্ষা করা হয়:
mathcal{L}_{text{PRM}} = – sum_{k=1}^K left[ y_k^* log r_phi(s_k) + (1 – y_k^*) log(1 – r_phi(s_k)) right]
যেখানে প্রতিটি পদক্ষেপের জন্য স্বতন্ত্র স্কোর প্রদান করা হয়। কোনো একটি ধাপে যুক্তি বিচ্যুত হলে মডেলটি সাথে সাথে সতর্ক সংকেত পায় এবং পেছনের ধাপে ফিরে আসে।
৩. চিন্তার বৃক্ষে অনুসন্ধান (Search Over Thoughts)
একটি নিখুঁত PRM থাকলে মডেলটি অন্ধের মতো এক লাইনে উত্তর না লিখে দাবা খেলার মতো একটি যুক্তির গাছ (Reasoning Tree) তৈরি করে:
- প্রতিটি পদক্ষেপে ৫ বা ১০টি সম্ভাব্য বিকল্প যুক্তি চিন্তা করা হয়।
- PRM দিয়ে সেরা যুক্তিটি বেছে নিয়ে পরের ধাপে যাওয়া হয়।
- যে যুক্তিটি ভুল বা দুর্বল প্রমাণিত হয়, সেই পুরো শাখাটি সাথে সাথে কেটে বাদ দেওয়া হয় (Pruning)।
এই প্রসেস সুপারভিশনের ফলেই আজকের এআই আন্তর্জাতিক গণিত অলিম্পিয়াডের কঠিন সমস্যায় মানুষের সমান বা তার চেয়েও উন্নত বুদ্ধিবৃত্তিক দক্ষতা প্রদর্শন করতে পারছে।
