চিরায়ত ডিটারমিনিস্টিক অটোএনকোডারের একটি প্রধান দুর্বলতা হলো—এর ল্যাটেন্ট স্পেস মসৃণ হয় না; সেখানে ফাঁকা ও বিশৃঙ্খল অঞ্চল তৈরি হয় যেখান থেকে নতুন কোনো অর্থপূর্ণ ছবি বা নমুনা তৈরি করা যায় না। ২০১৩ সালে ডিডেরিক কিংমা এবং ম্যাক্স ওয়েলিং উদ্ভাবন করেন ভ্যারিয়েশনাল অটোএনকোডার (VAE)। বায়েসিয়ান ভ্যারিয়েশনাল ইনফারেন্সের ওপর প্রতিষ্ঠিত এই মডেলটি স্টোক্যাস্টিক র্যান্ডম স্যাম্পলিংয়ের মধ্য দিয়েও গ্রেডিয়েন্ট প্রবাহিত করার জন্য বিখ্যাত রিপ্যারামিটারাইজেশন ট্রিক (Reparameterization Trick) উপহার দেয়।
১. মার্জিনাল লাইকলিহুড ও ইন্ট্র্যাক্টেবিলিটি
ল্যাটেন্ট ভ্যারিয়েবল মডেল $x sim p_theta(x mid z)$-এ মার্জিনাল সম্ভাব্যতা $log p(x) = log int p(x mid z) p(z) dz$ হিসাব করা কোনো গভীর নেটওয়ার্কের জন্য বাস্তবসম্মত নয়। এর ফলে প্রকৃত পোস্টেরিয়র $p(z mid x)$-ও অপ্রাপ্য থেকে যায়।
২. এভিডেন্স লোয়ার বাউন্ড (ELBO)-এর উপপাদন
একটি এনকোডার নেটওয়ার্ক $q_phi(z mid x)$ দিয়ে প্রকৃত পোস্টেরিয়রকে অনুমান করা হয়। কুলব্যাক-লেইবলার (KL) ডাইভারজেন্সের সমীকরণ থেকে পাওয়া যায় বিখ্যাত ELBO সমীকরণ:
$$log p_theta(x) ge mathcal{L}_{text{ELBO}} = mathbb{E}_{q_phi(z mid x)}[log p_theta(x mid z)] – D_{text{KL}}(q_phi(z mid x) parallel p(z))$$
এই সমীকরণের দুটি অংশ রয়েছে:
- পুনর্গঠন যথার্থতা (Reconstruction): ডিকোডার যাতে ল্যাটেন্ট কোড থেকে ইনপুটকে নিখুঁতভাবে পুনর্নির্মাণ করতে পারে।
- ল্যাটেন্ট নিয়মিতকরণ (KL Divergence): ল্যাটেন্ট স্পেসের বিন্যাস যেন আদর্শ গাউসিয়ান $mathcal{N}(0, I)$-এর কাছাকাছি থাকে, যাতে কোনো বিচ্ছিন্ন ফাঁকা অঞ্চল না থাকে।
৩. রিপ্যারামিটারাইজেশন ট্রিক (Reparameterization Trick)
র্যান্ডম স্যাম্পলিং নোডের মধ্য দিয়ে সরাসরি ব্যাকপ্রোপাগেশন চালানো অসম্ভব, কারণ স্যাম্পলিংয়ের কোনো অন্তরক (Derivative) নেই। কিংমা ও ওয়েলিং স্টোক্যাস্টিক নয়েজকে একটি স্বাধীন চলক $epsilon sim mathcal{N}(0, I)$ হিসেবে আলাদা করে দেন:
$$z = mu(x) + sigma(x) odot epsilon$$
এই সহজ কিন্তু যুগান্তকারী সমীকরণের ফলে র্যান্ডম স্যাম্পলিং একটি সাধারণ স্কেলিং ও যোগ অপারেশনে রূপান্তরিত হয়, যার মধ্য দিয়ে ব্যাকপ্রোপাগেশনের চেইন রুল অবিকল প্রবাহিত হতে পারে।
