মেশিন লার্নিংয়ের দার্শনিক কেন্দ্রে অবস্থান করে এক প্রাচীন জিজ্ঞাসা—আগমনের সমস্যা (Problem of Induction): অতীতের সসীম পর্যবেক্ষণের ওপর ভিত্তি করে কীভাবে অদেখা ভবিষ্যতের ঘটনা সম্পর্কে গাণিতিকভাবে সুদৃঢ় সিদ্ধান্ত নেওয়া সম্ভব? দার্শনিক ডেভিড হিউম যেখানে সংশয় ব্যক্ত করেছিলেন, আধুনিক পরিসংখ্যানিক শিখন তত্ত্ব (Statistical Learning Theory) সেই দার্শনিক ধাঁধাকে ফাংশন অপ্টিমাইজেশন, সম্ভাব্যতা পরিমাপ এবং জ্যামিতিক বাউন্ডের সুনির্দিষ্ট বিজ্ঞানে রূপান্তরিত করেছে। শিখন হলো সীমাবদ্ধ সম্ভাবনার পরিসরে এক সুশৃঙ্খল গাণিতিক আগমন।
১. গাণিতিক কাঠামো: ডেটা ডিস্ট্রিবিউশন ও ট্রু রিস্ক
ধরা যাক $mathcal{X} subseteq mathbb{R}^d$ হলো ইনপুট বা ইনস্ট্যান্স স্পেস এবং $mathcal{Y}$ হলো টার্গেট লেবেল স্পেস (যেমন বাইনারি ক্লাসিফিকেশনের ক্ষেত্রে $mathcal{Y} = {-1, +1}$ বা রিগ্রেশনের জন্য $mathcal{Y} subseteq mathbb{R}$)। প্রকৃতি একটি অজ্ঞাত কিন্তু নির্দিষ্ট সম্ভাব্যতা বণ্টন $mathcal{D}$-এর মাধ্যমে ডেটা জোড়া $(x, y) in mathcal{X} times mathcal{Y}$ তৈরি করে:
$$(x, y) sim mathcal{D}(x, y) = mathcal{D}(x) mathcal{D}(y mid x)$$
একজন শিক্ষার্থীর কাছে এই সামগ্রিক ডিস্ট্রিবিউশন $mathcal{D}$-তে সরাসরি প্রবেশাধিকার থাকে না। এর পরিবর্তে সে $mathcal{D}$ থেকে স্বাধীন ও অভিন্নভাবে বণ্টিত (i.i.d.) $n$ আকারের একটি ট্রেনিং সেট $S$ পর্যবেক্ষণ করে:
$$S = {(x_1, y_1), (x_2, y_2), dots, (x_n, y_n)} sim mathcal{D}^n$$
একটি লস ফাংশন $L: mathcal{Y} times mathcal{Y} to mathbb{R}_{ge 0}$ পূর্বাভাষ $hat{y} = h(x)$ এবং আসল মান $y$-এর পার্থক্য পরিমাপ করে। শিখনের চূড়ান্ত লক্ষ্য হলো এমন একটি হাইপোথিসিস $h in mathcal{H}$ খুঁজে বের করা যা প্রকৃত প্রত্যাশিত ঝুঁকি বা ট্রু রিস্ক (True Expected Risk) সর্বনিম্ন করে:
$$R(h) = mathbb{E}_{(x, y) sim mathcal{D}}[L(h(x), y)] = int_{mathcal{X} times mathcal{Y}} L(h(x), y) , dmathcal{D}(x, y)$$
২. এম্পিরিক্যাল রিস্ক মিনিমাইজেশন (ERM) নীতি
যেহেতু ডেটার আসল বিন্যাস $mathcal{D}$ অজ্ঞাত, তাই সরাসরি ট্রু রিস্কের ইন্টিগ্রাল $R(h)$ গণনা করা অসম্ভব। ভ্লাদিমির ভ্যাপনিক এর একটি বাস্তবমুখী বিকল্প প্রস্তাব করেন যা এম্পিরিক্যাল রিস্ক মিনিমাইজেশন (ERM) নামে পরিচিত। এখানে সমগ্র ডিস্ট্রিবিউশনের বদলে ট্রেনিং ডেটার ওপর গড় লস গণনা করা হয়:
$$R_{text{emp}}(h; S) = frac{1}{n} sum_{i=1}^n L(h(x_i), y_i)$$
ইআরএম নিয়ম অনুসারে সেই হাইপোথিসিস $hat{h}_S in mathcal{H}$-কে নির্বাচন করা হয় যা এই নমুনা গড় লসকে সর্বনিম্ন করে:
$$hat{h}_S = argmin_{h in mathcal{H}} R_{text{emp}}(h; S)$$
বৃহৎ সংখ্যার সূত্র (Law of Large Numbers) অনুযায়ী, যেকোনো একটি নির্দিষ্ট $h$-এর জন্য নমুনা সংখ্যা $n to infty$ হলে এম্পিরিক্যাল রিস্ক ট্রু রিস্কের সমান হয়ে যায়। কিন্তু শিখনের আসল সংকট হলো—নির্বাচিত মডেল $hat{h}_S$ কিন্তু পূর্বনির্ধারিত নয়; এটি স্বয়ং ডেটাসেট $S$-এর ওপর নির্ভর করে নির্বাচিত হয়েছে।
৩. অবাধ হাইপোথিসিস স্পেসের ব্যর্থতা: ওভারফিটিং ও মুখস্থকরণ
যদি হাইপোথিসিস স্পেস $mathcal{H}$-এর ওপর কোনো বিধিনিষেধ না থাকে এবং এটি যেকোনো ফাংশন গ্রহণ করতে পারে, তবে মডেলটি খুব সহজেই ডেটা মুখস্থ করে ফেলতে পারে:
$$h_{text{mem}}(x) = begin{cases} y_i & text{যদি } x = x_i in S \ text{যেকোনো মান} & text{অন্যথায়} end{cases}$$
এই মডেলের ক্ষেত্রে ট্রেনিং লস হবে শূন্য ($R_{text{emp}} = 0$)। কিন্তু ট্রেনিং সেটের বাইরে নতুন যেকোনো ডেটায় এর ভুল হবে চরম। এই ব্যবধানটিকেই বলা হয় জেনারেলাইজেশন গ্যাপ (Generalization Gap)। মডেলের ধারণক্ষমতা অতিরিক্ত বেশি হলে এম্পিরিক্যাল রিস্ক কোনোভাবেই আসল ঝুঁকির নির্দেশক হতে পারে না—যাকে আমরা বলি ওভারফিটিং।
৪. ইনডাক্টিভ বায়াস (Inductive Bias)-এর অপরিহার্যতা
আধুনিক মেশিন লার্নিংয়ের সবচেয়ে কেন্দ্রীয় আবিষ্কার হলো: পূর্বানুমান বা ইনডাক্টিভ বায়াস ছাড়া কোনো শিখন সম্ভব নয়। ওলপার্ট ও ম্যাকরেডির বিখ্যাত নো ফ্রি লাঞ্চ থিওরেম (No Free Lunch Theorem) প্রমাণ করে যে, সম্ভাব্য সকল ডেটা ডিস্ট্রিবিউশনের ওপর গড় করলে পৃথিবীর সকল শিখন অ্যালগরিদমের কার্যক্ষমতা সমান। অর্থাৎ, নতুন তথ্যে সফল হতে হলে অ্যালগরিদমকে ডেটা দেখার আগেই কিছু নির্দিষ্ট সমাধানকে অন্যদের চেয়ে বেশি প্রাধান্য দিতে হবে।
এই ইনডাক্টিভ বায়াস প্রতিষ্ঠিত হয় বিভিন্ন গাণিতিক কাঠামোর মাধ্যমে:
- হাইপোথিসিস সীমাবদ্ধকরণ: সমাধানকে কেবল সরলরেখা, কম মাত্রার বহুপদী বা নির্দিষ্ট গভীরতার ট্রিতে সীমাবদ্ধ রাখা।
- মসৃণতা ও মার্জিনের শর্ত: কাছাকাছি ডেটা পয়েন্টের জন্য একই লেবেল দেওয়ার নীতি বা ডিসিশন বাউন্ডারি থেকে দূরত্ব (Margin) সর্বোচ্চ করা।
- নর্ম রেগুলারাইজেশন: অপ্রয়োজনীয় জটিলতা কমাতে প্যারামিটারের ওপর $L_1$ বা $L_2$ পেনাল্টি আরোপ করা।
সংক্ষেপে, মেশিন লার্নিং হলো এই ইনডাক্টিভ বিধিনিষেধগুলোর এমন এক নিখুঁত জ্যামিতিক বিন্যাস যা সীমিত নমুনা তথ্যের ভেতরেও বিশ্বস্ত সার্বজনীন জ্ঞান উন্মোচন করতে সক্ষম।
