আধুনিক ডেটা বিজ্ঞানে আমরা প্রায়শই এমন এক বাস্তবতার মুখোমুখি হই যেখানে নমুনার তুলনায় ফিচারের সংখ্যা বহুগুণ বেশি ($p gg n$)—যেমন ১০০ জন রোগীর ক্ষেত্রে ২০,০০০ জিনের প্রকাশ পরিমাপ। এই চরম পরিস্থিতিতে সাধারণ লিস্ট স্কয়ার্স পদ্ধতিতে অসীম সংখ্যক সমাধান তৈরি হয় যা ট্রেনিং ডেটা নিখুঁত মুখস্থ করলেও টেস্ট ডেটায় পুরোপুরি ব্যর্থ হয়। এই গাণিতিক সংকট নিরসনে ব্যবহৃত হয় রেগুলারাইজেশন (Regularization): মডেলের প্যারামিটারের ওপর পেনাল্টি আরোপ করে অপ্রয়োজনীয় নয়েজ ছাঁটাই করা এবং গুরুত্বপূর্ণ ফিচারগুলোকে স্বয়ংক্রিয়ভাবে শনাক্ত করা।
১. অপূর্ণ-নির্ধারিত সমস্যা ও পেনাল্টির প্রয়োজনীয়তা
লিনিয়ার রিগ্রেশনে $y = Xw + epsilon$, যেখানে $X in mathbb{R}^{n times p}$। যখন $p > n$, তখন গ্রাম ম্যাট্রিক্স $X^T X$-এর র্যাঙ্ক সর্বোচ্চ $n$ হতে পারে, ফলে এর কোনো ইনভার্স বা বিপরীত ম্যাট্রিক্স থাকে না। প্যারামিটারের ভ্যারিয়েন্স অসীমে বিস্ফোরিত হয়।
রেগুলারাইজেশন এই সমস্যার সমাধান করে অবজেক্টিভ ফাংশনে একটি পেনাল্টি $Omega(w)$ এবং কন্ট্রোল প্যারামিটার $lambda > 0$ যোগ করে:
$$min_w frac{1}{2n} |y – X w|_2^2 + lambda Omega(w)$$
২. $L_2$ রিজ রেগুলারাইজেশন (Ridge Regression)
আন্দ্রে তিখোনভ এবং পরবর্তীতে হোয়ার্ল ও কেনার্ড ইউক্লিডীয় দূরত্বের বর্গের পেনাল্টি প্রস্তাব করেন: $Omega(w) = frac{1}{2} |w|_2^2 = frac{1}{2} sum w_j^2$।
একে ব্যবকলন করে শূন্য ধরলে এক বিশ্বস্ত সমাধান পাওয়া যায়:
$$hat{w}_{text{Ridge}} = left( X^T X + nlambda I_p right)^{-1} X^T y$$
ম্যাট্রিক্সের কর্ণ বরাবর $nlambda$ যোগ করার ফলে সকল আইগেনভ্যালু ধণাত্মক হয়ে যায় এবং ম্যাট্রিক্সটি নিশ্চিতভাবে ইনভার্ট করা সম্ভব হয়। রিজ রিগ্রেশন মূলত একটি অবিচ্ছিন্ন ছাঁকনির মতো কাজ করে যা অপ্রয়োজনীয় ছোট দিকগুলোর মান কমিয়ে দেয়, তবে কোনো প্যারামিটারকে কখনোই সম্পূর্ণ শূন্য করে না।
৩. $L_1$ ল্যাসো (Lasso) ও স্পার্স ফিচার নির্বাচন
১৯৯৬ সালে রবার্ট তিবশিরানি প্রস্তাব করেন ল্যাসো (Lasso — Least Absolute Shrinkage and Selection Operator), যা প্যারামিটারের পরম মান যোগ করে পেনাল্টি দেয়:
$$min_w frac{1}{2n} |y – X w|_2^2 + lambda sum_{j=1}^p |w_j|$$
ল্যাসোর এক বিস্ময়কর গাণিতিক ক্ষমতা রয়েছে: $lambda$-এর মান বৃদ্ধি পেলে এটি অপ্রয়োজনীয় ফিচারগুলোর মান সম্পূর্ণরূপে শূন্য ($w_j = 0$) করে দেয়! অর্থাৎ এটি একই সাথে মডেল প্রশিক্ষণ এবং গুরুত্বপূর্ণ ফিচার বাছাইয়ের কাজ সম্পন্ন করে।
৪. স্পার্সিটির জ্যামিতিক উৎস
কেন $L_1$ শূন্য তৈরি করে কিন্তু $L_2$ করে না? এর উত্তর লুকিয়ে আছে তাদের সীমাবদ্ধতার জ্যামিতিতে:
- $L_2$ রিজের গোলক ($|w|_2^2 le C$): এটি একটি মসৃণ বৃত্তাকার তল। কোয়াড্রেটিক লস ফাংশনের উপবৃত্তগুলো যখন এই বৃত্তকে স্পর্শ করে, তখন তারা কোনো সাধারণ বক্ররেখার বিন্দুতে স্পর্শ করে, যেখানে উভয় প্যারামিটারের মান অশূন্য ($w_1 ne 0, w_2 ne 0$) থাকে।
- $L_1$ ল্যাসোর ডায়মন্ড ($|w|_1 le C$): দ্বিমাত্রিক তলে এটি একটি হীরক বা চতুর্ভুজাকার বহুভুজ, যার ধারালো শীর্ষবিন্দুগুলো সরাসরি অক্ষের ওপর অবস্থান করে। কেন্দ্র থেকে প্রসারিত হতে থাকা লস উপবৃত্তগুলো সবচেয়ে আগে এই ধারালো শীর্ষবিন্দুতে ধাক্কা খায়। আর অক্ষের শীর্ষবিন্দুতে ধাক্কা খাওয়ার অর্থই হলো—অন্য স্থানাঙ্কের মান সম্পূর্ণরূপে শূন্য ($w_2 = 0$)!
৫. প্রক্সিমাল গ্রেডিয়েন্ট ও সফট-থ্রেশহোল্ডিং
যেহেতু শূন্য বিন্দুতে $|w|$-এর কোনো সাধারণ ডেরিভেটিভ নেই, তাই ল্যাসো অপ্টিমাইজেশনে ব্যবহৃত হয় সফট-থ্রেশহোল্ডিং অপারেটর (Soft-Thresholding):
$$hat{w}_j = text{sign}(w_j^{text{OLS}}) max(0, |w_j^{text{OLS}}| – lambda)$$
যেসব প্যারামিটারের মান $lambda$-এর চেয়ে ছোট, তারা অবিলম্বে শূন্য হয়ে যায়; আর বড় প্যারামিটারগুলো $lambda$ পরিমাণ সংকুচিত হয়। উচ্চ-মাত্রার ডেটা ফিল্টারিংয়ে $L_1$ রেগুলারাইজেশন আজ বিশ্বজুড়ে এক অপরিহার্য গাণিতিক মানদণ্ড।
