রৈখিক মডেল হলো পরিসংখ্যানিক প্যাটার্ন চেনার প্রথম প্রামাণ্য ভিত্তিপ্রস্তর। আধুনিক ডিপ নিউরাল নেটওয়ার্কের বহু পূর্বে স্যার রোনাল্ড ফিশার, হ্যারল্ড হোটেলিং এবং নেল্ডার-ওয়েডারবার্ন রৈখিক প্রক্ষেপণ (Linear Projection) এবং সম্ভাব্যতা ঘনত্বের মধ্যে এক অবিচ্ছেদ্য গাণিতিক সম্পর্ক তৈরি করেছিলেন। ফিশারের লিনিয়ার ডিসক্রিমিন্যান্ট অ্যানালাইসিস (LDA) এবং জেনারেলাইজড লিনিয়ার মডেল (GLM)-এর মাধ্যমে আমরা অনুধাবন করি কীভাবে জ্যামিতি এবং পরিসংখ্যান একত্রিত হয়।

১. ফিশারের লিনিয়ার ডিসক্রিমিন্যান্ট: স্ক্যাটার অনুপাত সর্বোচ্চকরণ

১৯৩৬ সালে রোনাল্ড ফিশার ক্লাসিফিকেশনকে একটি অপ্টিমাল ডাইমেনশন হ্রাসের সমস্যা হিসেবে দেখেন: এমন একটি ভেক্টর $w in mathbb{R}^d$ খুঁজে বের করতে হবে যা ডেটাকে এমনভাবে প্রক্ষেপণ করবে যাতে দুই ক্লাসের কেন্দ্রের দূরত্ব সর্বোচ্চ হয় এবং একই সাথে প্রতিটি ক্লাসের ভেতরের বিস্তৃতি (Scatter) সর্বনিম্ন হয়।

দুই ক্লাসের কেন্দ্রের মধ্যবর্তী দূরত্বের ম্যাট্রিক্স হলো বিটুইন-ক্লাস স্ক্যাটার ম্যাট্রিক্স ($S_B$):

$$S_B = (mu_1 – mu_2)(mu_1 – mu_2)^T$$

আর ক্লাসের ভেতরের সামগ্রিক ভ্যারিয়েন্স হলো উইদিন-ক্লাস স্ক্যাটার ম্যাট্রিক্স ($S_W$):

$$S_W = sum_{x in mathcal{C}_1} (x – mu_1)(x – mu_1)^T + sum_{x in mathcal{C}_2} (x – mu_2)(x – mu_2)^T$$

ফিশার এর অনুপাত সর্বোচ্চ করার সমীকরণ লেখেন (Rayleigh Quotient):

$$J(w) = frac{w^T S_B w}{w^T S_W w}$$

একে ব্যবকলন করে শূন্য ধরলে এক বিস্ময়কর সরল সমীকরণ বেরিয়ে আসে:

$$w^* propto S_W^{-1} (mu_1 – mu_2)$$

এটিই হলো ফিশারের বিখ্যাত সূত্র—যা উইদিন-ক্লাস কোভ্যারিয়েন্সের ইনভার্স দিয়ে দুই গড়ের দূরত্বকে গুণ করে পাওয়া যায়।

২. জেনারেটিভ বনাম ডিসক্রিমিনেটিভ মডেল

ক্লাসিফায়ার মূলত দুটি দর্শনে বিভক্ত:

  • জেনারেটিভ ক্লাসিফায়ার (যেমন Gaussian LDA): পুরো জয়েন্ট ডিস্ট্রিবিউশন $P(x, y)$ নির্ণয় করে। যদি ধরে নেওয়া হয় উভয় ক্লাস সমান কোভ্যারিয়েন্স $Sigma$ বিশিষ্ট নরমাল ডিস্ট্রিবিউশন মেনে চলে, তবে পোস্টেরিয়র লজিক ঠিক ফিশারের সমীকরণেই ফিরে আসে: $w = Sigma^{-1}(mu_1 – mu_0)$।
  • ডিসক্রিমিনেটিভ ক্লাসিফায়ার (যেমন Logistic Regression): ডেটা কীভাবে তৈরি হলো তা নিয়ে মাথা না ঘামিয়ে সরাসরি শর্তাধীন সম্ভাব্যতা $P(y mid x)$ নির্ণয় করে, যা ডেটার ওপর কোনো অপ্রয়োজনীয় নরমাল অনুমান চাপায় না।

৩. এক্সপোনেনশিয়াল ফ্যামিলি ও জিএলএম (GLM)

১৯৭২ সালে নেল্ডার এবং ওয়েডারবার্ন রিগ্রেশন, লজিস্টিক ক্লাসিফিকেশন এবং পয়সন মডেলকে জেনারেলাইজড লিনিয়ার মডেল (GLM)-এর অধীনে একীভূত করেন। একটি ডিস্ট্রিবিউশনকে এক্সপোনেনশিয়াল ফ্যামিলির অংশ বলা হয় যদি তার রূপ হয়:

$$p(y; eta) = b(y) expleft( eta^T T(y) – A(eta) right)$$

এখানে $eta$ হলো ন্যাচারাল প্যারামিটার এবং $A(eta)$ হলো লগ-পার্টিশন ফাংশন। $A(eta)$-এর প্রথম ডেরিভেটিভ হলো ডিস্ট্রিবিউশনের গড় ($mathbb{E}[y]$) এবং দ্বিতীয় ডেরিভেটিভ হলো ভ্যারিয়েন্স।

জিএলএম-এ একটি লিংক ফাংশন $g(mu)$ রৈখিক পূর্বাভাস $eta = w^T x$-এর সাথে গড় মানকে যুক্ত করে:

$$eta = g(mu) iff mu = g^{-1}(w^T x)$$

লিনিয়ার রিগ্রেশনে এটি আইডেন্টিটি ফাংশন, লজিস্টিক রিগ্রেশনে এটি সিগময়েড/লজিট ফাংশন, এবং কাউন্ট মডেলে এটি লগ ফাংশন। এই একক রূপরেখা প্রতিটি মডেলের অবজেক্টিভ ফাংশনকে কঠোরভাবে উত্তল (Strictly Concave) রাখে, যার ফলে নিউটন-র‌্যাফসন পদ্ধতি নিশ্চিতভাবে সঠিক সমাধানে পৌঁছাতে পারে।

শাকিল মাহমুদ সজল

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।