কয়েক দশক ধরে গভীর নিউরাল নেটওয়ার্ককে একটি ব্ল্যাক-বক্স হিসেবে দেখা হতো: প্যারামিটার সংখ্যা উপাত্তের চেয়ে বহুগুণ বেশি ($D gg n$) হওয়া সত্ত্বেও এটি কীভাবে কোনো ওভারফিটিং ছাড়া অসাধারণ ভবিষ্যদ্বাণী করে, তা চিরায়ত পরিসংখ্যানিক শিখন তত্ত্বের কাছে ছিল এক বিশাল রহস্য। সাম্প্রতিক বছরগুলোতে নাফতালি তিশবির ইনফরমেশন বটলনেক নীতি, ডনোহো ও পাপিয়ানের নিউরাল কোলাপ্স (Neural Collapse) এবং ডাবল ডিসেন্ট তত্ত্ব ডিপ লার্নিংয়ের এই গভীর গাণিতিক রহস্য উন্মোচন করেছে।
১. ইনফরমেশন বটলনেক নীতি
২০০০ সালে নাফতালি তিশবি প্রস্তাব করেন যে একটি নেটওয়ার্কের মধ্যবর্তী স্তর $T$ একটি ভ্যারিয়েশনাল অপ্টিমাইজেশন সমস্যার সমাধান করে:
$$min mathcal{L} = I(X; T) – beta I(T; Y)$$
যেখানে $I(A; B)$ হলো শ্যানন মিউচুয়াল ইনফরমেশন। এই সমীকরণ অনুযায়ী নেটওয়ার্ক দুটি কাজ করে: প্রথমত, ইনপুট $X$-এর অপ্রয়োজনীয় নয়েজ ও পারিপার্শ্বিক তথ্য মুছে ফেলে ($I(X; T)$ সংকোচন); দ্বিতীয়ত, আউটপুট $Y$ পূর্বাভাসের জন্য প্রয়োজনীয় মূল বৈশিষ্ট্যগুলো অবিকল সংরক্ষণ করে ($I(T; Y)$ সর্বোচ্চকরণ)। প্রশিক্ষণের সময় প্রাথমিক ফিটিং পর্বের পর একটি দীর্ঘ তথ্য সংকোচন পর্ব (Information Compression Phase) ঘটে, যা মডেলের স্বাভাবিক সাধারণীকরণ নিশ্চিত করে।
২. ডাবল ডিসেন্ট ও ওভারপ্যারামিটারাইজেশন
চিরায়ত পরিসংখ্যানে মডেলের ধারণক্ষমতা বাড়ালে এরর U-আকারে বাড়ে। কিন্তু ২০১৯ সালে মিখাইল বেলকিন প্রমাণ করেন ডাবল ডিসেন্ট (Double Descent): ইন্টারপোলেশন থ্রেশহোল্ড ($D = n$) অতিক্রম করার পর প্যারামিটার সংখ্যা আরও বহুগুণ বাড়ালে টেস্ট এরর পুনরায় মসৃণভাবে হ্রাস পেতে থাকে। অতি-উচ্চ প্যারামিটার স্পেসে গ্রেডিয়েন্ট ডিসেন্ট স্বয়ংক্রিয়ভাবে ন্যূনতম $ell_2$-নর্মের সমাধান বেছে নেয়।
৩. নিউরাল কোলাপ্স ($mathcal{NC}$): প্রশিক্ষণের চূড়ান্ত জ্যামিতি
২০২০ সালে ভার্দান পাপিয়ান এবং ডেভিড ডনোহো আবিষ্কার করেন যে ট্রেনিং এরর শূন্য হওয়ার পর অতিরিক্ত প্রশিক্ষণ চালিয়ে গেলে শেষ স্তরের ফিচার এবং ক্লাসিফায়ার ওয়েটগুলো একটি সর্বজনীন জ্যামিতিক রূপ ধারণ করে যাকে বলে নিউরাল কোলাপ্স:
- ভেরিয়্যাবিলিটি কোলাপ্স ($mathcal{NC}_1$): একই ক্লাসের সমস্ত ডেটা পয়েন্ট তাদের নিজস্ব ক্লাস সেন্ট্রয়েডে সংকুচিত হয়ে যায় ($Sigma_W to mathbf{0}$)।
- সিমপ্লেক্স ইটিএফ ($mathcal{NC}_2$): বিভিন্ন ক্লাসের সেন্ট্রয়েডগুলো একটি Simplex Equiangular Tight Frame তৈরি করে—যেখানে প্রতিটি ক্লাসের মধ্যবর্তী কোণ সর্বোচ্চ এবং হুবহু সমান (যেমন ৩টি ক্লাসের জন্য ১২০° সমবাহু ত্রিভুজ, ৪টি ক্লাসের জন্য ১০৯.৫° টেট্রাহেড্রন)।
- স্ব-দ্বৈততা ও অ্যালাইনমেন্ট ($mathcal{NC}_3$): ক্লাসিফায়ারের ওজন ভেক্টরগুলো ক্লাস সেন্ট্রয়েডের সাথে নিখুঁতভাবে সারিবদ্ধ হয়।
নিউরাল কোলাপ্স প্রমাণ করে যে ডিপ লার্নিংয়ের চরম সীমায় সমস্ত বৈচিত্র্য বিলুপ্ত হয়ে এক অনন্য প্রতিসম জ্যামিতিক কাঠামোয় আত্মপ্রকাশ করে।
