ফ্রন্টিয়ার এআই: স্বায়ত্তশাসিত এজেন্ট, অ্যালাইনমেন্ট ও এজিআই দিগন্ত (পর্ব ০৩): ওয়ার্ল্ড মডেলের মাধ্যমে পরিকল্পনা — মন্টে কার্লো ট্রি সার্চ ও মিউজিরো

মানব বুদ্ধিমত্তার শ্রেষ্ঠত্ব তার শারীরিক ক্ষিপ্রতায় নয়; এর মূল রহস্য হলো মানুষের মস্তিষ্কের কাল্পনিক মানসিক সিমুলেশন তৈরির ক্ষমতা। আমরা কোনো পদক্ষেপ নেওয়ার আগেই মনে মনে তার সম্ভাব্য পরিণতি কল্পনা করি, বিভিন্ন বিকল্পের তুলনামূলক বিচার করি এবং ভুল এড়িয়ে সঠিক সিদ্ধান্ত নিই। কৃত্রিম বুদ্ধিমত্তার জগতে এই দূরদর্শী পরিকল্পনার সফল রূপায়ণ হলো মডেল-ভিত্তিক রিইনফোর্সমেন্ট লার্নিং এবং মন্টে কার্লো ট্রি সার্চ (MCTS)—যা AlphaGo, AlphaZero এবং MuZero-কে অপরাজেয় করে তুলেছিল।

১. মন্টে কার্লো ট্রি সার্চের (MCTS) ৪টি পর্যায়

MCTS অ্যালগরিদম ধাপে ধাপে সম্ভাব্য ভবিষ্যতের একটি অনুসন্ধান গাছ (Search Tree) তৈরি করে:

1. সিলেকশন (Selection): বর্তমান অবস্থা থেকে শুরু করে PUCT সমীকরণের মাধ্যমে সেরা পথটি নির্বাচন করে গাছের গভীরে প্রবেশ করা হয়:

   a_t = argmax_a left[ Q(s, a) + c_{text{puct}} P(s, a) frac{sqrt{sum_b N(s, b)}}{1 + N(s, a)} right]

   এটি পরিচিত ভালো পথ ব্যবহারের পাশাপাশি কম দেখা নতুন পথ অনুসন্ধানের নিখুঁত ভারসাম্য বজায় রাখে।

2. এক্সপানশন (Expansion): একদম শেষ পাতায় পৌঁছে নতুন পদক্ষেপগুলোর জন্য নতুন শাখা তৈরি করা হয়।
3. ইভালুয়েশন (Evaluation): পুরো খেলা শেষ না করে একটি নিউরাল নেটওয়ার্ক $v_theta(s_L)$ দিয়ে সেই অবস্থার ভবিষ্যৎ সম্ভাবনা পরিমাপ করা হয়।
4. ব্যাকপ্রোপাগেশন (Backpropagation): মূল্যায়িত মানটি পেছনের সমস্ত নোডে আপডেট করে দেওয়া হয় যাতে পরবর্তী সিদ্ধান্তগুলো আরও নিখুঁত হয়।

২. আলফাজেরো (AlphaZero): সেলফ-প্লে বুটস্ট্র্যাপিং

মানুষের কোনো খেলা না দেখিয়ে কেবল মৌলিক নিয়ম শিখিয়ে AlphaZero দাবা ও গো খেলায় বিশ্ব চ্যাম্পিয়ন হয়েছিল। নিউরাল নেটওয়ার্কের প্রাথমিক পূর্বাভাসের চেয়ে MCTS অনুসন্ধান সর্বদা অধিক শক্তিশালী ফলাফল প্রদান করে। নেটওয়ার্কটি ক্রমাগত MCTS-এর সেই উন্নত রূপটি অনুকরণ করে শেখে, ফলে সিস্টেমটি নিজের সাথে খেলতে খেলতেই সুপারহিউম্যান দক্ষতায় পৌঁছে যায়।

৩. মিউজিরো (MuZero): পরিবেশের মডেল আবিষ্কার

বাস্তব জগতে দাবা বোর্ডের মতো কোনো বাঁধাধরা সিমুলেটর থাকে না। ২০২০ সালে ডিপমাইন্ডের উদ্ভাবিত MuZero প্রমাণ করে যে কোনো বাহ্যিক নিয়ম বা সিমুলেটর ছাড়াই একটি মডেল তার নিজস্ব কাল্পনিক ল্যাটেন্ট ওয়ার্ল্ড (Latent Space) তৈরি করে নিতে পারে। এটি কেবল সেই তথ্যগুলোই সংরক্ষণ করে যা ভবিষ্যৎ সিদ্ধান্ত ও পুরষ্কার অনুমানে সাহায্য করে—যার ফলে রোবোটিক্স ও জটিল বৈজ্ঞানিক গবেষণায় নিখুঁত দূরদর্শী পরিকল্পনা প্রণয়ন সম্ভব হচ্ছে।

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।