কৃত্রিম বুদ্ধিমত্তার চরম লক্ষ্য কেবল প্যাটার্ন চেনা বা পরবর্তী শব্দের অন্ধ অনুমান নয়; এর মূল অভিযাত্রা হলো স্বায়ত্তশাসিত এজেন্ট (Autonomous Agency) সৃষ্টি করা—এমন এক ব্যবস্থা যা পরিবেশ পর্যবেক্ষণ করতে পারে, দীর্ঘমেয়াদী লক্ষ্য স্থির করে স্বাধীন পদক্ষেপ নিতে পারে এবং অভিজ্ঞতার আলোকে নিজেকে উন্নত করতে সক্ষম। এই স্বায়ত্তশাসিত বুদ্ধিমত্তার গাণিতিক ভিত্তি রচিত হয়েছে মার্কভ ডিসিশন প্রসেস (MDP)-এর ওপর।

১. রিইনফোর্সমেন্ট লার্নিংয়ের মৌলিক ৫-টাপল

একটি স্বায়ত্তশাসিত এজেন্ট ও তার পারিপার্শ্বিক পরিবেশের মধ্যকার মিথস্ক্রিয়াকে গাণিতিকভাবে পাঁচটি উপাদানের সমন্বয়ে সংজ্ঞায়িত করা হয়:

mathcal{M} = langle mathcal{S}, mathcal{A}, mathcal{P}, mathcal{R}, gamma rangle

যেখানে:

  • $mathcal{S}$: পরিবেশের সমস্ত বৈধ অবস্থার (States) সেট।
  • $mathcal{A}$: এজেন্টের নেওয়া সম্ভাব্য সমস্ত পদক্ষেপ বা কাজের (Actions) সেট।
  • $mathcal{P}(s_{t+1} mid s_t, a_t)$: ট্রানজিশন প্রোবাবিলিটি—বর্তমান অবস্থা $s_t$-তে পদক্ষেপ $a_t$ নিলে নতুন অবস্থা $s_{t+1}$-এ পৌঁছানোর সম্ভাব্যতা।
  • $mathcal{R}(s_t, a_t, s_{t+1})$: পরিবেশ থেকে প্রাপ্ত স্কেলার পুরস্কার বা রিওয়ার্ড।
  • $gamma in [0, 1)$: ডিসকাউন্ট ফ্যাক্টর, যা ভবিষ্যতের সম্ভাব্য পুরস্কারের বর্তমান মূল্যমান নির্ধারণ করে।

২. মার্কভ বৈশিষ্ট্য (Markov Property)

এমডিপির সবচেয়ে গুরুত্বপূর্ণ মূলনীতি হলো মার্কভ শর্ত: ভবিষ্যৎ কী হবে তা কেবল বর্তমান অবস্থা ও গৃহীত পদক্ষেপের ওপর নির্ভর করে; অতীতের দীর্ঘ ইতিহাস এখানে অপ্রাসঙ্গিক:

Pr(s_{t+1} mid s_t, a_t, s_{t-1}, a_{t-1}, dots) = Pr(s_{t+1} mid s_t, a_t)

পরিবেশে যদি তথ্য লুকায়িত থাকে তবে তাকে বলা হয় Partially Observable MDP (POMDP), যেখানে এজেন্টকে অতীতের স্মৃতি বা মেমরির সাহায্যে বর্তমান পরিস্থিতি অনুমান করতে হয়।

৩. ডিসকাউন্টেড রিটার্ন ও সময়ের মূল্য

একজন বুদ্ধিমান এজেন্ট কখনোই তাৎক্ষণিক সামান্য সুবিধার জন্য কাজ করে না; সে ভবিষ্যতের মোট সঞ্চিত পুরস্কার $G_t$ সর্বোচ্চ করতে চায়:

G_t = sum_{k=0}^infty gamma^k r_{t+k+1}

ডিসকাউন্ট ফ্যাক্টর $gamma$ একদিকে অসীম সময়ের হিসাবকে গাণিতিকভাবে সসীম মানে ধরে রাখে এবং অন্যদিকে ভবিষ্যতের অনিশ্চিত পুরস্কারের তুলনায় বর্তমানের বাস্তব অর্জনকে যুক্তিযুক্ত প্রাধান্য দেয়।

৪. পলিসি ও ভ্যালু ফাংশন

এজেন্টের চিন্তাধারা পরিচালিত হয় তার পলিসি $pi(a mid s)$ দ্বারা। কোনো নির্দিষ্ট অবস্থায় থাকা কতটা লাভজনক তা প্রকাশ করে স্টেট-ভ্যালু ফাংশন $V(s)$ এবং কোনো নির্দিষ্ট কাজ করার মূল্যমান প্রকাশ করে কিউ-ফাংশন $Q(s, a)$। এই সমীকরণগুলোর সর্বোত্তম সমাধান $pi^*$ খুঁজে বের করাই হলো স্বায়ত্তশাসিত বুদ্ধিমত্তা সৃষ্টির চাবিকাঠি।

শাকিল মাহমুদ সজল

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।