২০১৫ সালের পূর্বে ডিপ লার্নিং গবেষকরা একটি অপ্রত্যাশিত বাধার সম্মুখীন হন যাকে বলা হতো ডিগ্রোডেশন সমস্যা (Degradation Problem)। নেটওয়ার্কের গভীরতা ২০ স্তর অতিক্রম করলেই ট্রেনিং এরর—কেবল টেস্ট এরর নয়—হঠাৎ অস্বাভাবিক হারে বৃদ্ধি পেত। এটি কোনো ওভারফিটিং ছিল না (ওভারফিটিংয়ে ট্রেনিং এরর কমে কিন্তু টেস্ট এরর বাড়ে); এটি ছিল গভীর স্তরে শেখার চরম ব্যর্থতা। এমনকি সাধারণ অভেদ ফাংশন ($mathcal{H}(x) = x$) শেখাও গভীর স্তরের জন্য অসম্ভব হয়ে পড়ত। ২০১৫ সালের ডিসেম্বরে কাইমিং হে এবং তার দল রেসিড্যুয়াল নেটওয়ার্ক (ResNet) আবিষ্কারের মাধ্যমে এই সংকট দূর করেন এবং ১০০০ স্তরেরও বেশি গভীর মডেল সফলভাবে প্রশিক্ষণের পথ উন্মোচন করেন।
১. রেসিড্যুয়াল কাঠামোর ধারণা
হে এবং তার সহকর্মীরা বুঝতে পেরেছিলেন যে একটি স্তরকে সরাসরি জটিল ম্যাপিং $mathcal{H}(x)$ শেখার নির্দেশ না দিয়ে, তাকে কেবল অবশিষ্ট বা রেসিড্যুয়াল ম্যাপিং $mathcal{F}(x) equiv mathcal{H}(x) – x$ শেখানো উচিত:
$$mathcal{H}(x) = mathcal{F}(x) + x$$
যদি কোনো স্তরে নতুন কোনো তথ্য যোগ করার প্রয়োজন না থাকে, তবে রেগুলেশনের মাধ্যমে সহজেই তার প্যারামিটারগুলো শূন্যের দিকে ধাবিত হবে ($mathcal{F}(x) to 0$) এবং ইনপুট সরাসরি আউটপুটে অপরিবর্তিত অবস্থায় পৌঁছে যাবে।
২. বাধাহীন গ্রেডিয়েন্ট হাইওয়ের গাণিতিক উপপাদন
রেসিড্যুয়াল ব্লকের সমীকরণ $x_{l+1} = x_l + mathcal{F}(x_l, mathcal{W}_l)$-কে পুনরাবৃত্তি করলে যেকোনো গভীর স্তর $L$-এর মান দাঁড়ায়:
$$x_L = x_l + sum_{i=l}^{L-1} mathcal{F}(x_i, mathcal{W}_i)$$
চেইন রুল প্রয়োগের মাধ্যমে লস $mathcal{E}$-এর গ্রেডিয়েন্ট নির্ণয় করলে দেখা যায়:
$$frac{partial mathcal{E}}{partial x_l} = frac{partial mathcal{E}}{partial x_L} left( I + frac{partial}{partial x_l} sum_{i=l}^{L-1} mathcal{F}_i right)$$
এই সমীকরণে একক ম্যাট্রিক্স $I$ একটি গ্রেডিয়েন্ট হাইওয়ে হিসেবে কাজ করে। এমনকি মধ্যবর্তী নন-লিনিয়ার লেয়ারগুলোর গ্রেডিয়েন্ট শূন্য হয়ে গেলেও, এই অভেদ পদের কারণে শীর্ষ স্তরের সিগন্যাল কোনো ক্ষয় ছাড়াই সরাসরি প্রাথমিক স্তরগুলোতে অবিকল পৌঁছে যায়।
৩. আনর্যাভেল্ড এনসেম্বল তত্ত্ব (Unraveled Ensemble)
২০১৬ সালে ভাইট ও তার সহকর্মীরা প্রমাণ করেন যে রেসনেট আসলে একটি একক অতি-গভীর নেটওয়ার্ক নয়, বরং এটি $2^n$ সংখ্যক অগভীর নেটওয়ার্কের সমান্তরাল সমন্বয়। যেকোনো একটি স্তর মুছে ফেললেও সামগ্রিক কার্যকারিতায় কোনো বিপর্যয় ঘটে না, যা প্রমাণ করে যে এটি একটি স্বতঃস্ফূর্ত এনসেম্বল সিস্টেম হিসেবে কাজ করে।
