সুপারভাইজড লার্নিং কেবল স্থির ডেটাসেটে কাজ করে যেখানে সঠিক উত্তরের লেবেল আগে থেকেই দেওয়া থাকে। কিন্তু রোবটিক্স, ভিডিও গেমস বা স্বায়ত্তশাসিত সিদ্ধান্ত গ্রহণে কোনো তৈরি উত্তর থাকে না; সেখানে পরিবেশের সাথে ক্রিয়া-প্রতিক্রিয়া ও ভুলের মাধ্যমে শিখতে হয়। ডিপ রিইনফোর্সমেন্ট লার্নিং (DRL) বেলম্যানের অপ্টিমালিটি সমীকরণকে ডিপ নিউরাল নেটওয়ার্কের সাথে যুক্ত করে সরাসরি সংবেদনশীল ইনপুট থেকে সর্বোত্তম আচরণিক নীতি তৈরি করে।
১. মার্কভ ডিসিশন প্রসেস ও বেলম্যান সমীকরণ
একটি পরিবেশকে মার্কভ ডিসিশন প্রসেস (MDP) হিসেবে সংজ্ঞায়িত করা হয়। রিচার্ড বেলম্যানের প্রিন্সিপাল অব অপ্টিমালিটি অনুসারে যেকোনো স্টেট-অ্যাকশনের সর্বোত্তম মূল্যমান $Q^*(s, a)$ নির্ধারিত হয়:
$$Q^*(s, a) = mathcal{R}(s, a) + gamma mathbb{E}left[ max_{a’} Q^*(s’, a’) right]$$
২. রিচার্ড সাটনের “ডেডলি ট্রায়াড” ও ডিপ কিউ-নেটওয়ার্ক (DQN)
ডিপ নিউরাল নেটওয়ার্কের মাধ্যমে কিউ-লার্নিং চালাতে গেলে তিনটি উপাদানের বিপজ্জনক সংমিশ্রণ ঘটে যাকে ডেডলি ট্রায়াড (Deadly Triad) বলে—ফাংশন অপ্রক্সিমেশন, বুটস্ট্র্যাপিং এবং অফ-পলিসি লার্নিং। ২০১৫ সালে গুগল ডিপমাইন্ড দুটি যুগান্তকারী স্থাপত্যের মাধ্যমে এই বিপর্যয় প্রতিরোধ করে বিশ্বখ্যাত DQN তৈরি করে:
- এক্সপেরিয়েন্স রিপ্লে বাফার (Replay Buffer): অতীতের সমস্ত অভিজ্ঞতা একটি বাফারে জমা রেখে সেখান থেকে র্যান্ডম মিনি-ব্যাচ বেছে নেওয়া হয়, যা সময়ের পারস্পরিক সম্পর্ক ভেঙে প্রশিক্ষণকে স্থিতিশীল করে।
- টার্গেট নেটওয়ার্ক (Target Network): লস গণনায় ব্যবহৃত টার্গেট নেটওয়ার্কের প্যারামিটার $theta^-$-কে স্থির রেখে কেবল নির্দিষ্ট সময় পর পর আপডেট করা হয়, যার ফলে চলমান লক্ষ্যের পেছনে ছোটার অস্থিতিশীলতা দূর হয়।
৩. ডাবল ডিকিউএন ও ডুয়েলিং নেটওয়ার্ক
সর্বোচ্চকরণ অপারেশনের কারণে কিউ-ভ্যালুর অতিরিক্ত অনুমানের প্রবণতা দূর করতে ডাবল ডিকিউএন সিদ্ধান্ত গ্রহণ ও মূল্যায়নকে আলাদা করে। অন্যদিকে ডুয়েলিং নেটওয়ার্ক কিউ-ফাংশনকে স্টেট ভ্যালু $V(s)$ এবং অ্যাডভান্টেজ $A(s, a)$-এ বিভক্ত করে কর্মক্ষমতা বৃদ্ধি করে।
৪. অবিচ্ছিন্ন অ্যাকশন স্পেস ও অ্যাক্টর-ক্রিটিক দ্বৈততা
রোবটের হাত নাড়ানোর মতো অবিচ্ছিন্ন অ্যাকশন স্পেসে $max_a Q(s, a)$ বের করা অসম্ভব। এর সমাধানে আসে অ্যাক্টর-ক্রিটিক (Actor-Critic) আর্কিটেকচার: ক্রিটিক নেটওয়ার্ক পরিস্থিতির মান মূল্যায়ন করে, আর অ্যাক্টর নেটওয়ার্ক সরাসরি অ্যাকশন ভেক্টর তৈরি করে। ডেভিড সিলভারের ডিটারমিনিস্টিক পলিসি গ্রেডিয়েন্ট (DPG) উপপাদ্যের ওপর প্রতিষ্ঠিত DDPG আধুনিক রোবটিক্স ও কন্ট্রোল সিস্টেমের প্রধানতম ভিত্তি।
