রৈখিক মডেলগুলোর গাণিতিক বিশুদ্ধতা অনন্য হলেও বাস্তব জগতের প্রাকৃতিক ও জৈবিক ঘটনাগুলো চরমভাবে অ-রৈখিক (Non-linear)। চিরাচরিত সমাধান ছিল ইনপুট ডেটাকে বহুপদী বা ত্রিকোণমিতিক সূত্রের মাধ্যমে উচ্চ মাত্রার স্পেসে রূপান্তর করা—কিন্তু তা অচিরেই ডাইমেনশন বিস্ফোরণের (Curse of Dimensionality) প্রাচীরে ধাক্কা খায়। ১৯৯২ সালে বোসার, গায়ন এবং ভ্যাপনিক ১৯০৯ সালের ব্রিটিশ গণিতবিদ জেমস মার্সারের এক বিস্মৃত উপপাদ্য পুনরুজ্জীবিত করে আবিষ্কার করেন কার্নেল ট্রিক (The Kernel Trick): কোনো স্থানাঙ্ক গণনা না করেই অসীম-মাত্রিক হিলবার্ট স্পেসে নিখুঁত রৈখিক সমাধান অর্জনের এক অবিশ্বাস্য কৌশল।
১. উচ্চ মাত্রায় রূপান্তর ও গণনামূলক প্রাচীর
দ্বিমাত্রিক তলে বৃত্তাকারভাবে বিন্যস্ত একটি ডেটাসেট কল্পনা করা যাক, যা কোনো সরলরেখা দিয়ে আলাদা করা অসম্ভব। কিন্তু যদি আমরা একটি ফাংশন $Phi: mathbb{R}^2 to mathbb{R}^3$ ব্যবহার করে ডেটাকে ত্রিমাত্রিক তলে তুলে আনি:
$$Phi(x) = left( x_1^2, , sqrt{2} x_1 x_2, , x_2^2 right)^T$$
তবে দ্বিমাত্রিক বৃত্তটি ত্রিমাত্রিক স্পেসে একটি সমতল পৃষ্ঠ বা হাইপারপ্লেনে পরিণত হয় এবং ডেটা সম্পূর্ণ রৈখিকভাবে বিভাজ্য হয়ে যায়।
কিন্তু ইনপুট ডেটার ডাইমেনশন যদি হয় $d = 1000$ এবং আমরা ডিগ্রি-৫ বহুপদীতে যেতে চাই, তবে নতুন স্পেসের মাত্রা দাঁড়ায়:
$$dim(mathcal{H}) = binom{1000 + 5}{5} approx ৮ text{ ট্রিলিয়ন স্থানাঙ্ক!}$$
এত বিশাল ভেক্টর মেমরিতে রাখা বা গণনা করা যেকোনো কম্পিউটারের জন্য অসম্ভব।
২. কার্নেল ট্রিক: ডুয়াল ডট প্রোডাক্টের জাদু
এসভিএম-এর ডুয়াল অপ্টিমাইজেশন সমীকরণটি পুনরায় লক্ষ্য করা যাক:
$$max_alpha sum_{i=1}^n alpha_i – frac{1}{2} sum_{i,j=1}^n alpha_i alpha_j y_i y_j langle Phi(x_i), Phi(x_j) rangle$$
সবচেয়ে বিস্ময়কর সত্য হলো: অ্যালগরিদম কখনোই $Phi(x)$-এর স্থানাঙ্কগুলো আলাদাভাবে দাবি করে না। পুরো শিখন প্রক্রিয়া পরিচালিত হয় কেবল দুটি বিন্দুর ভেতরের ইনার প্রোডাক্ট বা ডট প্রোডাক্ট $langle Phi(x), Phi(z) rangle$-এর মাধ্যমে। যদি আমরা এমন একটি সহজ ফাংশন $K(x, z)$ তৈরি করতে পারি যা মূল ইনপুট স্পেসেই এই ডট প্রোডাক্টের মান হুবহু বের করে দেয়:
$$K(x, z) = langle Phi(x), Phi(z) rangle_{mathcal{H}}$$
তবে আমাদের কখনোই ৮ ট্রিলিয়ন মাত্রার স্পেসে পা দেওয়ার প্রয়োজন নেই!
যেমন বহুপদী কার্নেল $K(x, z) = (x^T z + c)^p$-এর ক্ষেত্রে মূল $d$-মাত্রায় সাধারণ একটি ডট প্রোডাক্ট করলেই স্বয়ংক্রিয়ভাবে ট্রিলিয়ন মাত্রার হিলবার্ট স্পেসের ফলাফল পাওয়া যায়।
৩. মার্সারের উপপাদ্য ও আরকেএইচএস (RKHS)
কোন ফাংশনগুলো বৈধ কার্নেল হতে পারে? এর উত্তর দেয় ১৯০৯ সালের মার্সারের উপপাদ্য (Mercer’s Theorem):
মার্সারের উপপাদ্য: একটি প্রতিসম অবিচ্ছিন্ন ফাংশন $K(x, z)$ কেবল তখনই একটি বৈধ ইনার প্রোডাক্ট কার্নেল হবে যদি যেকোনো সসীম ডেটা সেটের জন্য গঠিত $n times n$ গ্রাম ম্যাট্রিক্স (Gram Matrix) $mathbf{K}_{ij} = K(x_i, x_j)$ সর্বদা পজিটিভ সেমি-ডেফিনিট (Positive Semi-Definite) হয় ($v^T mathbf{K} v ge 0$)।
এর ফলে কার্নেলটিকে তার আইগেনভ্যালু $lambda_i > 0$ এবং আইগেনফাংশন $psi_i(x)$-এর সাহায্যে অসীম ধারায় প্রকাশ করা সম্ভব হয়:
$$K(x, z) = sum_{i=1}^infty lambda_i psi_i(x) psi_i(z)$$
৪. গাউসিয়ান আরবিএফ কার্নেল: অসীম মাত্রা
মেশিন লার্নিংয়ের সর্বাধিক জনপ্রিয় কার্নেল হলো রেডিয়াল বেসিস ফাংশন বা গাউসিয়ান আরবিএফ (RBF) কার্নেল:
$$K_{text{RBF}}(x, z) = expleft(-frac{|x – z|^2}{2sigma^2}right)$$
টেলর সিরিজ দিয়ে এর এক্সপোনেনশিয়াল অংশকে ভাঙলে পাই:
$$exp(2gamma x^T z) = 1 + frac{2gamma (x^T z)}{1!} + frac{(2gamma)^2 (x^T z)^2}{2!} + dots + frac{(2gamma)^k (x^T z)^k}{k!} + dots$$
যেহেতু এই টেলর সিরিজটি অসীম পর্যন্ত বিস্তৃত, তাই আরবিএফ কার্নেল মূলত ডেটাকে একটি অসীম-মাত্রিক হিলবার্ট স্পেসে তুলে নেয়! এর মাধ্যমে যেকোনো জটিল, আঁকাবাঁকা ডেটা ক্লাস্টারকে অত্যন্ত মসৃণভাবে পৃথক করা সম্ভব হয়।
