আনসুপারভাইজড লার্নিংয়ের অন্যতম প্রধান উদ্দেশ্য হলো কোনো লেবেল ছাড়াই জটিল উচ্চ-মাত্রিক ডেটার অন্তর্নিহিত চালিকাশক্তিগুলোকে একটি সংক্ষিপ্ত গাণিতিক রূপ দেওয়া। অটোএনকোডার (Autoencoders) ইনপুট ডেটা $x in mathbb{R}^d$-কে একটি সংকীর্ণ বটলনেক ভেক্টর $z in mathbb{R}^k$ ($k ll d$)-এর মধ্য দিয়ে সংকুচিত করে পুনরায় হুবহু ইনপুট তৈরি করার চেষ্টা করে। এই বাধ্যবাধকতার কারণে মডেল ডেটার অপ্রয়োজনীয় নয়েজ ফেলে দিয়ে মূল অন্তর্নিহিত লো-ডাইমেনশনাল ম্যানিফোল্ড শনাক্ত করতে শেখে।
১. আন্ডারকমপ্লিট অটোএনকোডারের মূলনীতি
একটি অটোএনকোডার দুটি প্রধান অংশে বিভক্ত:
- এনকোডার ($f_phi$): ইনপুটকে ল্যাটেন্ট কোডে সংকুচিত করে: $z = sigma(W_e x + b_e)$।
- ডিকোডারের ($g_psi$): ল্যাটেন্ট কোড থেকে মূল ইনপুট পুনর্গঠন করে: $hat{x} = sigma(W_d z + b_d)$।
যদি অ্যাক্টিভেশন ফাংশন সম্পূর্ণ লিনিয়ার হয়, তবে অটোএনকোডার হুবহু ক্লাসিক্যাল পিসিএ (PCA)-এর সমতুল্য হয়। নন-লিনিয়ার স্তরের কারণে এটি বাঁকানো ম্যানিফোল্ডের জ্যামিতি নিখুঁতভাবে আয়ত্ত করতে পারে।
২. ডিনয়েজিং অটোএনকোডার (DAE) ও স্কোর ম্যাচিং
ইনপুটকে অবিকল কপি করার ফাঁকি রোধ করতে ২০০৮ সালে পাস্কাল ভিনসেন্ট উদ্ভাবন করেন ডিনয়েজিং অটোএনকোডার। ইনপুটে কৃত্রিম নয়েজ যোগ করে মডেলকে মূল পরিষ্কার ডেটা পুনর্গঠনের নির্দেশ দেওয়া হয়। ২০১১ সালে বেনজিও প্রমাণ করেন যে এই প্রক্রিয়াটি আসলে ডেটার সম্ভাব্যতা ঘনত্বের গ্রেডিয়েন্ট বা স্কোর ফাংশন ($nabla log p(x)$) নির্ণয় করে, যা আধুনিক ডিফিউশন মডেলের মূল তাত্ত্বিক ভিত্তি।
৩. কন্ট্রাক্টিভ অটোএনকোডার (CAE)
কন্ট্রাক্টিভ অটোএনকোডারে জ্যাকোবিয়ান ম্যাট্রিক্সের ফ্রবেনিয়াস নর্ম ($|J_f|_F^2$) যুক্ত করে শাস্তি দেওয়া হয়। এর ফলে ডেটা ম্যানিফোল্ডের স্পর্শক বরাবর তথ্য সংরক্ষিত থাকে, কিন্তু লম্ব দিকের সমস্ত ক্ষুদ্র বিচ্যুতি ও নয়েজ সম্পূর্ণরূপে ধ্বংস হয়ে যায়।
৪. রিপ্রেজেন্টেশন ডিসএন্ট্যাঙ্গলমেন্ট
ল্যাটেন্ট কোডের প্রতিটি একক মাত্রা যদি বাস্তব জগতের একটি মাত্র স্বাধীন বৈশিষ্ট্যের (যেমন বস্তুর আকার, কোণ বা আলোর তীব্রতা) সাথে সরাসরি সম্পর্কযুক্ত হয়, তবে তাকে ডিসএন্ট্যাঙ্গলড রিপ্রেজেন্টেশন বলে।
