কোটি কোটি অবস্থা সমৃদ্ধ একটি জটিল জগতে স্বায়ত্তশাসিত এজেন্ট কীভাবে প্রতিটি বিকল্পের অন্ধ অনুসন্ধান ছাড়াই সঠিক পথ খুঁজে পায়? এর উত্তর নিহিত রয়েছে ১৯৫৭ সালে রিচার্ড বেলম্যানের উদ্ভাবিত ডায়নামিক প্রোগ্রামিং-এর গাণিতিক পুনরাবৃত্তিতে। বেলম্যান অপটিম্যালিটি সমীকরণ থেকে শুরু করে নিউরাল নেটওয়ার্ক চালিত পলিসি গ্র্যাডিয়েন্ট থিওরেম এবং PPO পর্যন্ত এই তত্ত্বই আধুনিক ফ্রন্টিয়ার এআইকে স্বাধীনভাবে চিন্তা ও কাজ করার শক্তি জোগায়।
১. বেলম্যান অপটিম্যালিটি সমীকরণ
যেকোনো অবস্থার মানকে তাৎক্ষণিক পুরস্কার এবং পরবর্তী অবস্থার সম্ভাব্য ডিসকাউন্টেড মানের যোগফল হিসেবে প্রকাশ করা যায়:
V^*(s) = max_{a in mathcal{A}} left[ mathcal{R}(s, a) + gamma sum_{s’ in mathcal{S}} mathcal{P}(s’ mid s, a) V^*(s’) right]
বানাক ফিক্সড-পয়েন্ট উপপাদ্য অনুযায়ী বেলম্যান অপারেটর একটি কনট্রাকশন ম্যাপিং। ফলে যেকোনো স্থান থেকে শুরু করলেও পুনরাবৃত্তির মাধ্যমে নিখুঁত সর্বোত্তম ভ্যালু ফাংশন $V^*$-এ পৌঁছানো নিশ্চিত হয়।
২. পলিসি গ্র্যাডিয়েন্ট থিওরেম
রোবোটিক্স বা ভাষা মডেলের মতো অবিচ্ছিন্ন ক্ষেত্রে সমস্ত অবস্থার তালিকা তৈরি করা অসম্ভব। তাই ডিপ নিউরাল নেটওয়ার্ক $pi_theta(a mid s)$ দিয়ে সরাসরি পলিসি নির্ধারণ করা হয়।
সাটন প্রমুখের Policy Gradient Theorem প্রমাণ করে যে পরিবেশের অভ্যন্তরীণ জটিল গতিবিদ্যা না জেনেও মডেলের মোট পুরস্কার বাড়ানোর জন্য সরাসরি প্যারামিটারের গ্রেডিয়েন্ট নির্ণয় করা সম্ভব:
nabla_theta J(theta) = mathbb{E} left[ nabla_theta log pi_theta(a_t mid s_t) cdot Q(s_t, a_t) right]
৩. অ্যাক্টর-ক্রিটিক (Actor-Critic) ও অ্যাডভান্টেজ
শুধুমাত্র অন্ধ ভাগ্যের ওপর নির্ভর না করে দুটি নিউরাল নেটওয়ার্ক একসাথে কাজ করে: অ্যাক্টর পদক্ষেপ নেয় এবং ক্রিটিক সেই পদক্ষেপের সার্বিক মূল্যায়ন করে। অ্যাডভান্টেজ ফাংশন $A(s, a) = Q(s, a) – V(s)$ হিসাব করে দেখা হয় সাধারণ প্রত্যাশার চেয়ে কাজটি কতটা বেশি ফলপ্রসূ হয়েছে।
৪. প্রক্সিমাল পলিসি অপটিমাইজেশন (PPO)
প্রশিক্ষণের সময় একটি অতিরিক্ত বড় গ্রেডিয়েন্ট স্টেপ পুরো মডেলটির বুদ্ধিমত্তা ধ্বংস করে দিতে পারে। ২০১৭ সালে জন শুলম্যান প্রমুখ PPO উদ্ভাবন করেন। এটি সারোগেট অবজেক্টিভকে একটি নির্দিষ্ট সীমার ($1 pm epsilon$) মধ্যে ক্লিপ করে রাখে:
mathcal{L}^{text{CLIP}}(theta) = hat{mathbb{E}} left[ minleft( r_t(theta) hat{A}_t, , text{clip}(r_t(theta), 1-epsilon, 1+epsilon) hat{A}_t right) right]
এই গাণিতিক সুরক্ষা নিশ্চিত করে যে মডেলের শেখার প্রক্রিয়া হবে মসৃণ ও স্থিতিশীল, যা আজকের শীর্ষস্থানীয় স্বায়ত্তশাসিত এআই সিস্টেমগুলোর মূল চালিকাশক্তি।
