বাস্তব ডেটা বিশ্লেষণে বহু মৌলিক কারণ থাকে যা কখনো সরাসরি পরিমাপ করা যায় না: যেমন জিনোমিক্সে রোগের অপ্রকাশিত সাব-টাইপ বা টেক্সটের অন্তর্নিহিত টপিক। যখন ডেটাসেটে এমন লুকায়িত চলক $Z$ উপস্থিত থাকে, তখন সামগ্রিক লাইকলিহুড সমীকরণে সামেশনের ওপর লগারিদম বসে যায়—যার ফলে সর্বোচ্চ লাইকলিহুডের স্বাভাবিক সমীকরণগুলো সম্পূর্ণরূপে অকার্যকর হয়ে পড়ে। ১৯৭৭ সালে আর্থার ডেম্পস্টার, ন্যান লেয়ার্ড এবং ডোনাল্ড রুবিন এই সংকটের অমর সমাধান উপহার দেন: এক্সপেক্টেশন-ম্যাক্সিমাইজেশন (EM) অ্যালগরিদম।
১. লুকায়িত ভেরিয়েবলের লাইকলিহুড সংকট
ধরা যাক দৃশ্যমান ডেটা $X$ এবং লুকায়িত চলক $Z$। সামগ্রিক ডেটা পাওয়ার জন্য আমাদের $Z$-এর সকল মানের ওপর সামেশন করতে হয়:
$$ell(theta) = ln p(X mid theta) = sum_{i=1}^n ln left( sum_{z_i} p(x_i, z_i mid theta) right)$$
এখানেই তৈরি হয় মূল সংকট: লগারিদমের ভেতরে সামেশন অবস্থান করায় লগ সরাসরি গুণফলের মতো বিভক্ত হতে পারে না, ফলে প্যারামিটারগুলোর কোনো সহজ সমাধান বের করা যায় না।
২. জেনসেনের উপপাদ্য ও এভিডেন্স লোয়ার বাউন্ড (ELBO)
এই জটিলতা কাটাতে আমরা $Z$-এর ওপর একটি বিকল্প ডিস্ট্রিবিউশন $q(Z)$ কল্পনা করি। সামেশনের ভেতর $q(Z)$ দিয়ে গুণ ও ভাগ করে এবং লগারিদমের অবতল (Concave) প্রকৃতির ওপর জেনসেনের উপপাদ্য (Jensen’s Inequality) প্রয়োগ করে পাই:
$$ln p(X mid theta) ge sum_Z q(Z) ln frac{p(X, Z mid theta)}{q(Z)} equiv mathcal{L}(q, theta)$$
এই $mathcal{L}(q, theta)$-কে বলা হয় এভিডেন্স লোয়ার বাউন্ড বা ইএলবিও (ELBO)। এটি প্রমাণ করে যে আমরা সরাসরি আসল লাইকলিহুড স্পর্শ করতে না পারলেও সর্বদা একটি নিরাপদ নিচের সীমানা বা ফ্লোর অপ্টিমাইজ করতে পারি।
৩. ইএম অ্যালগরিদমের দুটি পর্যায়ক্রমিক ধাপ
ইএম অ্যালগরিদম প্রতি পদক্ষেপে দুটি সহজ ধাপে কাজ সম্পন্ন করে:
- ই-স্টেপ (E-Step — Expectation): বর্তমান প্যারামিটার $theta^{(t)}$ স্থির রেখে $q(Z)$-কে এমনভাবে সাজানো যাতে ইএলবিও আসল লাইকলিহুডের সমান উচ্চতায় পৌঁছায়। এটি ঘটে যখন $q(Z)$ ঠিক বর্তমান পোস্টেরিয়র $p(Z mid X, theta^{(t)})$-এর সমান হয়। এর মাধ্যমে আমরা প্রত্যাশিত লগ-লাইকলিহুড ফাংশন $Q(theta; theta^{(t)})$ তৈরি করি।
- এম-স্টেপ (M-Step — Maximization): এই $Q$-ফাংশনকে প্যারামিটার $theta$-এর সাপেক্ষে সর্বোচ্চ করা হয়:
$$theta^{(t+1)} = argmax_theta Q(theta; theta^{(t)})$$
যেহেতু এবার লগ সরাসরি জয়েন্ট ডিস্ট্রিবিউশনের ওপর অবস্থান করছে, তাই এর ডেরিভেটিভ বের করে সহজেই নতুন প্যারামিটার পেয়ে যাওয়া যায়।
৪. একমুখী উন্নতির গাণিতিক নিশ্চয়তা
ডেম্পস্টার প্রমুখ প্রমাণ করেন যে ইএম অ্যালগরিদম প্রতি পদক্ষেপে আসল লাইকলিহুডকে মনোটনিকভাবে বৃদ্ধি করে ($ell(theta^{(t+1)}) ge ell(theta^{(t)})$)। এটি কখনো পেছনের দিকে যায় না এবং নিশ্চিতভাবে একটি লোকাল ম্যাক্সিমামে গিয়ে স্থির হয়।
৫. গাউসিয়ান মিক্সচার মডেল (GMM)
ক্লাস্টারিংয়ের ক্ষেত্রে জিএমএম-এ ইএম অ্যালগরিদম ব্যবহৃত হয়:
- ই-স্টেপ: প্রতিটি ডেটা পয়েন্ট কোন ক্লাস্টারে যাওয়ার সম্ভাবনা কত (Responsibility $gamma_{ik}$) তা বের করা।
- এম-স্টেপ: এই সম্ভাবনার ওপর ভিত্তি করে ক্লাস্টারের নতুন কেন্দ্র $mu_k$, বিস্তার $Sigma_k$ এবং অনুপাত $pi_k$ পুনরায় হিসাব করা।
লুকায়িত রহস্য উন্মোচনে ইএম অ্যালগরিদম আজ আধুনিক পরিসংখ্যানিক কম্পিউটিংয়ের অন্যতম শ্রেষ্ঠ নিদর্শন।
