উচ্চ-মাত্রিক ডেটা স্পেসে কাজ করার সময় রিচার্ড বেলম্যানের কুখ্যাত কার্স অফ ডাইমেনশনালিটি (Curse of Dimensionality) প্রকট হয়ে ওঠে: মাত্রা $d to infty$ হলে মহাশূন্যের আয়তন এক্সপোনেনশিয়ালি বৃদ্ধি পায় এবং সমস্ত ডেটা পয়েন্ট একে অপরের থেকে সমদূরবর্তী ও বিচ্ছিন্ন হয়ে পড়ে। তবে বাস্তব জগতের ডেটা সর্বত্র সমভাবে ছড়ানো থাকে না; এটি সাধারণত একটি নিম্ন-মাত্রিক নন-লিনিয়ার সাব-ম্যানিফোল্ড $mathcal{M} subset mathbb{R}^d$-এর পৃষ্ঠে অবস্থান করে যার অন্তর্নিহিত মাত্রা $d^* ll d$। ডাইমেনশনালিটি রিডাকশন (Dimensionality Reduction) এই অন্তর্নিহিত জ্যামিতি অক্ষুণ্ণ রেখে ডেটাকে নিম্ন মাত্রায় রূপান্তর করে।
১. প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস (PCA)
১৯০১ সালে কার্ল পিয়ারসন পিসিএ (PCA) প্রবর্তন করেন। কেন্দ্রিকৃত ডেটা ম্যাট্রিক্স $X in mathbb{R}^{n times d}$-এর জন্য পিসিএ এমন কিছু অর্থোগোনাল একক ভেক্টর $w$ খুঁজে বের করে যা প্রক্ষিপ্ত উপাত্তের ভ্যারিয়েন্স সর্বোচ্চ করে:
$$max_{w: |w| = 1} w^T Sigma w implies Sigma w = lambda w$$
ল্যাগ্রাঞ্জ মাল্টিপ্লায়ার প্রয়োগের মাধ্যমে কোভ্যারিয়েন্স ম্যাট্রিক্স $Sigma$-এর শীর্ষ আইগেনভ্যালু সম্পর্কিত আইগেনভেক্টরগুলোই প্রধান উপাংশ হিসেবে চিহ্নিত হয়। একার্ট-ইয়ং-মিরস্কি উপপাদ্য অনুসারে ট্রাঙ্কেটেড এসভিডি (SVD) ফ্রবেনিয়াস নর্মে ন্যূনতম ত্রুটিযুক্ত সর্বোত্তম লিনিয়ার প্রক্ষেপণ নিশ্চিত করে।
২. নন-লিনিয়ার স্পেকট্রাল এম্বেডিং: কার্নেল পিসিএ এবং আইসোম্যাপ
ম্যানিফোল্ড যখন অ-রৈখিকভাবে বাঁকা থাকে (যেমন সুইস রোল), তখন লিনিয়ার পিসিএ ব্যর্থ হয়। ১৯৯৮ সালে বার্নহার্ড শোলকফ কার্নেল পিসিএ (Kernel PCA) উদ্ভাবন করেন যা ডেটাকে উচ্চ-মাত্রিক আরকেএইচএস-এ প্রক্ষেপ করে নন-লিনিয়ার প্রধান উপাংশ নির্ণয় করে।
২০০০ সালে টেনেবাম প্রবর্তন করেন আইসোম্যাপ (Isomap)। এটি ইউক্লিডীয় দূরত্বের বদলে গ্রাফের মাধ্যমে জিওডেসিক দূরত্ব (Geodesic Distance) পরিমাপ করে এবং ক্লাসিক্যাল মাল্টি-ডাইমেনশনাল স্কেলিং (MDS) প্রয়োগ করে বাঁকানো ম্যানিফোল্ডকে সমতলে নিখুঁতভাবে উন্মুক্ত করে।
৩. ল্যাপ্লাসিয়ান আইগেনম্যাপস (Laplacian Eigenmaps)
বেলকিন এবং নিয়গি (২০০৩) স্পেকট্রাল গ্রাফ থিওরির ওপর ভিত্তি করে ল্যাপ্লাসিয়ান আইগেনম্যাপস তৈরি করেন। গ্রাফ ল্যাপ্লাসিয়ান $L = D – W$ অপ্টিমাইজেশনের মাধ্যমে স্থানীয় নৈকট্য রক্ষা পায়:
$$min_Y text{Tr}(Y^T L Y) quad text{s.t.} quad Y^T D Y = I$$
আইগেনসিস্টেম $L v = lambda D v$-এর ক্ষুদ্রতম ধনাত্মক আইগেনভেক্টরগুলো রিম্যানিয়ান ম্যানিফোল্ডের ল্যাপ্লাস-বেল্ট্রামি অপারেটরের সাথে সরাসরি সম্পর্কিত।
৪. t-SNE এবং UMAP: আধুনিক ক্লাস্টার ভিজ্যুয়ালাইজেশন
২০০৮ সালে লরেন্স ভ্যান ডার মাটেন এবং জিওফ্রে হিন্টন উদ্ভাবন করেন t-SNE। উচ্চ মাত্রায় বিন্দুসমূহের দূরত্ব গাউসিয়ান ডিস্ট্রিবিউশন দিয়ে সম্ভাবনায় রূপান্তরিত হয় এবং নিম্ন মাত্রায় স্টুডেন্টস-টি ডিস্ট্রিবিউশন (Student-$t$ with 1 DOF) ব্যবহার করা হয়। এটি বিখ্যাত ক্রাউডিং সমস্যা (Crowding Problem) দূর করে নিখুঁত ক্লাস্টার উন্মোচন করে।
২০১৮ সালে লিল্যান্ড ম্যাকইনস UMAP উদ্ভাবন করেন, যা ক্যাটাগরি থিওরি এবং রিম্যানিয়ান জ্যামিতির ওপর প্রতিষ্ঠিত। এটি অস্পষ্ট সিম্প্লিসিয়াল সেট (Fuzzy Simplicial Sets) বিশ্লেষণের মাধ্যমে t-SNE-এর চেয়ে বহুগুণ দ্রুত কাজ করে এবং বৈশ্বিক কাঠামোগত সম্পর্ক নিখুঁতভাবে সংরক্ষণ করে।
