বায়েসিয়ান পরিসংখ্যানে নতুন তথ্য $X$ দেখার পর অতীত বিশ্বাস $p(Z)$ পরিবর্তিত হয়ে রূপ নেয় পোস্টেরিয়র ডিস্ট্রিবিউশনে: $p(Z mid X) = frac{p(X, Z)}{p(X)}$। কিন্তু হরের মার্জিনাল ইন্টিগ্রাল $p(X) = int p(X, Z) dZ$ গণনা করা উচ্চ মাত্রার স্পেসে গাণিতিকভাবে সম্পূর্ণ অসম্ভব। অতীতে মারকভ চেইন মন্টে কার্লো (MCMC) দিয়ে দৈব স্যাম্পলিং করা হতো, কিন্তু তা ছিল অত্যন্ত ধীরগতির। ভ্যারিয়েশনাল ইনফারেন্স (Variational Inference — VI) এই অসম্ভব ইন্টিগ্রেশনকে একটি সাধারণ অপ্টিমাইজেশন বা অবমূল্যায়ন সমস্যায় রূপান্তর করে এক অবিশ্বাস্য বিপ্লব সাধন করে।
১. ভ্যারিয়েশনাল ইনফারেন্সের মূল কাঠামো
আসল জটিল পোস্টেরিয়র $p(Z mid X)$-কে হুবহু নির্ণয় করতে না পেরে আমরা একটি পরিচিত, সহজ ডিস্ট্রিবিউশন পরিবার $mathcal{Q} = {q(Z)}$ কল্পনা করি। আমাদের লক্ষ্য হলো এই পরিবারের মধ্য থেকে এমন একটি $q^*(Z)$ খুঁজে বের করা যা আসল পোস্টেরিয়রের সবচেয়ে কাছাকাছি অবস্থান করে। আর দুটি ডিস্ট্রিবিউশনের ব্যবধান পরিমাপের মানদণ্ড হলো কুলব্যাক-লেইবলার ডাইভারজেন্স (KL Divergence):
$$q^*(Z) = argmin_{q in mathcal{Q}} D_{text{KL}}left( q(Z) parallel p(Z mid X) right)$$
কেএল ডাইভারজেন্সের সংজ্ঞা বিশ্লেষণ করে এবং বায়েসের সূত্র প্রয়োগ করে আমরা পাই আধুনিক পরিসংখ্যানের সবচেয়ে বিখ্যাত পরিচয়:
$$ln p(X) = text{ELBO}(q) + D_{text{KL}}(q(Z) parallel p(Z mid X))$$
২. ইএলবিও (ELBO) বৃদ্ধির মাধ্যমে কেএল হ্রাস
লক্ষ করুন, এই সমীকরণের প্রতিটি অংশ এক গভীর সত্য প্রকাশ করে:
- বামপাশের মোট প্রমাণ $ln p(X)$ হলো $q$-এর সাপেক্ষে একটি ধ্রুবক।
- যেহেতু কেএল ডাইভারজেন্স কখনোই ঋণাত্মক হতে পারে না ($D_{text{KL}} ge 0$), তাই $text{ELBO}(q)$ সর্বদা আসল লাইকলিহুডের একটি নিচের সীমা (Lower Bound)।
- অতএব, $text{ELBO}(q)$-কে সর্বোচ্চ করা মানেই হলো স্বয়ংক্রিয়ভাবে কেএল ডাইভারজেন্সকে শূন্যের কাছাকাছি নামিয়ে আনা!
সবচেয়ে বড় সুবিধা হলো—ইএলবিও গণনা করতে কেবল জয়েন্ট প্রবাবিলিটি $p(X, Z)$ প্রয়োজন হয়, অসম্ভব হর $p(X)$-এর বিন্দুমাত্র দরকার পড়ে না।
৩. মিন-ফিল্ড (Mean-Field) অনুমান
হিসাব সহজ করার জন্য আমরা পদার্থবিজ্ঞান থেকে মিন-ফিল্ড অনুমান গ্রহণ করি—যেখানে ধরে নেওয়া হয় সকল লুকায়িত ভেরিয়েবল নিজেদের মধ্যে স্বাধীনভাবে কাজ করে:
$$q(Z) = prod_{j=1}^M q_j(Z_j)$$
৪. কোঅর্ডিনেট অ্যাসেন্ট ভ্যারিয়েশনাল ইনফারেন্স (CAVI)
একটি নির্দিষ্ট উপাদান $q_j$-কে সর্বোচ্চ করতে বাকিগুলোকে স্থির রাখলে এক অপূর্ব প্রতিসাম্য সমীকরণ পাওয়া যায়:
$$q_j^*(Z_j) propto expleft( mathbb{E}_{q_{-j}}left[ ln p(X, Z) right] right)$$
অ্যালগরিদমটি একের পর এক ভেরিয়েবলের ওপর এই সমীকরণ প্রয়োগ করে ঘুরতে থাকে যতক্ষণ না সামগ্রিক ইএলবিও সর্বোচ্চ মানে পৌঁছায়। এটি গিবস স্যাম্পলিংয়ের মতো হলেও কোনো দৈব ট্রায়াল ছাড়া সম্পূর্ণ ডিটারমিনিস্টিক উপায়ে কয়েক গুণ দ্রুত কাজ সম্পন্ন করে।
৫. আধুনিক এআই-তে প্রভাব
পরবর্তীতে ২০১৩ সালে ডিডেরিক কিংমা এবং ম্যাক্স ওয়েলিং এই ভ্যারিয়েশনাল সূত্রকেই ডিপ নিউরাল নেটওয়ার্কের সাথে যুক্ত করে আবিষ্কার করেন ভ্যারিয়েশনাল অটোএনকোডার (VAE)। স্ট্যাটিস্টিক্যাল ফিজিক্স ও বায়েসিয়ান গণিতের এই মেলবন্ধন আজও জেনারেটিভ এআই বিপ্লবের অন্যতম কেন্দ্রীয় চালিকাশক্তি।
