সুপারভাইজড লার্নিং সম্পূর্ণভাবে বিশাল লেবেলযুক্ত ডেটাসেট $mathcal{D}_L = (x_i, y_i)_{i=1}^l$-এর ওপর নির্ভরশীল। তবে চিকিৎসাবিজ্ঞান, কোয়ান্টাম রসায়ন বা বায়োইনফরমেটিক্সের মতো সংবেদনশীল ক্ষেত্রে ডেটায় লেবেল যুক্ত করা অত্যন্ত ব্যয়বহুল ও সময়সাপেক্ষ। বিপরীতে লেবেলবিহীন কাঁচা ডেটা $mathcal{D}_U$ প্রচুর পরিমাণে বিদ্যমান ($u gg l$)। সেমি-সুপারভাইজড লার্নিং (SSL) এবং অ্যাক্টিভ লার্নিং (AL) লেবেলবিহীন তথ্যের অন্তর্নিহিত জ্যামিতি ব্যবহার করে ন্যূনতম খরচে মডেলের কার্যকারিতা বহুগুণ বৃদ্ধি করে।
১. সেমি-সুপারভাইজড শিখনের তিনটি মৌলিক ভিত্তি
লেবেলবিহীন ডেটা $P(X)$ টার্গেট প্রেডিকশন $P(Y mid X)$-এ তখনই সহায়তা করতে পারে যখন তাদের মাঝে কাঠামোগত সম্পর্ক থাকে। এটি তিনটি ভিত্তির ওপর দাঁড়িয়ে আছে:
- স্মুথনেস অনুমান (Smoothness Assumption): ডেটা স্পেসের উচ্চ ঘনত্বের অঞ্চলে যদি দুটি বিন্দু কাছাকাছি থাকে, তবে তাদের লেবেলও সমরূপ হবে।
- ক্লাস্টার অনুমান (Cluster Assumption): ক্লাসিফিকেশনের সীমানা কখনই উচ্চ ঘনত্বের ক্লাস্টারের মধ্য দিয়ে যাবে না; সীমানা সর্বদা ফাঁকা উপত্যকার মধ্য দিয়ে অতিক্রম করবে।
- ম্যানিফোল্ড অনুমান (Manifold Assumption): জটিল ডেটা নিম্ন-মাত্রিক ম্যানিফোল্ডের পৃষ্ঠে আবদ্ধ থাকে এবং সেই পৃষ্ঠ বরাবর পরিবর্তন সুষম হয়।
২. গ্রাফ হারমোনিক ফাংশন ও লেবেল প্রপাগেশন
২০০৩ সালে শাওজিন ঝু, জুবিন ঘাহরামানি এবং জন ল্যাফার্টি গ্রাফের ওপর হারমোনিক ফাংশন (Harmonic Functions) ব্যবহারের মাধ্যমে সেমি-সুপারভাইজড লার্নিংয়ের নিখুঁত রূপরেখা দেন। গ্রাফের ডিরিকলেট শক্তি (Dirichlet Energy) ল্যাপ্লাসিয়ান ম্যাট্রিক্সের মাধ্যমে প্রকাশ করা হয়:
$$mathcal{E}(f) = frac{1}{2} sum_{i,j=1}^n W_{ij} (f(x_i) – f(x_j))^2 = f^T L f$$
পরিচিত লেবেলযুক্ত বিন্দুগুলোকে অপরিবর্তিত রেখে শক্তি সর্বনিম্ন করলে লেবেলবিহীন বিন্দুর জন্য ক্লোজড-ফর্ম সমাধান পাওয়া যায়:
$$f_U^* = -L_{UU}^{-1} L_{UL} y_L$$
এই সমীকরণটি প্রমাণ করে যে এটি একটি অ্যাবজরবিং মার্কভ চেইনের সমতুল্য, যেখানে প্রতিটি লেবেলবিহীন বিন্দুতে মান হলো একটি র্যান্ডম ওয়াকারের নির্দিষ্ট ক্লাসে শোষিত হওয়ার সম্ভাবনা।
৩. মাল্টি-ভিউ কো-ট্রেনিং (Co-Training)
১৯৯৮ সালে এভরিম ব্লাম এবং টম মিচেল কো-ট্রেনিং প্রবর্তন করেন। যদি কোনো ডেটার দুটি স্বাধীন বৈশিষ্ট্য থাকে (যেমন ওয়েবপৃষ্ঠার টেক্সট এবং বহিরাগত অ্যাঙ্কর লিঙ্ক), তবে দুটি পৃথক মডেল প্রশিক্ষণ দিয়ে তাদের পারস্পরিক মতৈক্যের মাধ্যমে লেবেলবিহীন ডেটা স্বয়ংক্রিয়ভাবে লেবেল করা সম্ভব।
৪. অ্যাক্টিভ লার্নিং ও তথ্য আহরণ
মডেল যখন নিজেই সিদ্ধান্ত নেয় কোন ডেটা পয়েন্টটির লেবেল জানা সবচেয়ে জরুরি, তখন তাকে অ্যাক্টিভ লার্নিং বলে। এর প্রধান কৌশলগুলো হলো:
- অনিশ্চয়তা নমুনায়ন (Uncertainty Sampling): শ্যানন এন্ট্রপি $H(Y mid x)$ সর্বোচ্চ এমন জটিল পয়েন্টগুলোর লেবেল জানতে চাওয়া।
- ক্যোয়ারী বাই কমিটি (Query by Committee): একাধিক ভিন্ন মডেলের সমন্বয়ে গঠিত কমিটির সদস্যদের মতবিরোধ যেখানে সবচেয়ে বেশি, সেই ডেটা পয়েন্ট নির্বাচন করা।
- ফিশার ইনফরমেশন ম্যাক্সিমাইজেশন: প্যারামিটারের অনিশ্চয়তা সর্বনিম্ন করতে ফিশার ইনফরমেশন ম্যাট্রিক্স $mathcal{I}(theta)$ অপ্টিমাইজ করা।
