চিরায়ত অপ্টিমাইজেশন তত্ত্বের মূল ভিত্তি ছিল উত্তল (Convex) ফাংশন, যেখানে যেকোনো স্থানীয় সর্বনিম্ন বিন্দু (Local Minimum) স্বতঃসিদ্ধভাবে বৈশ্বিক সর্বনিম্ন বিন্দু (Global Minimum)। কিন্তু গভীর নিউরাল নেটওয়ার্কের জটিল প্যারামিটার স্পেস $mathbb{R}^D$-তে যেখানে মাত্রা $D sim 10^7 – 10^{11}$, সেখানে লস ল্যান্ডস্কেপ চরম নন-কনভেক্স। একসময় ধারণা করা হতো গ্রেডিয়েন্ট ডিসেন্ট স্থানীয় ফাঁদে আটকা পড়ে যাবে। ২০১৪ সালে ইয়ান ডফাঁ এবং সহকর্মীরা স্পিন-গ্লাসের পরিসংখ্যানিক বলবিদ্যা প্রয়োগ করে প্রমাণ করেন: উচ্চ মাত্রায় উচ্চ লসের অঞ্চলে লোকাল মিনিমা প্রায় নেই বললেই চলে; বরং সেখানে আধিপত্য বিস্তার করে থাকে অগণিত হাইপারবোলিক স্যাডল পয়েন্ট (Saddle Points)।
১. উচ্চ-মাত্রিক ক্রিটিক্যাল পয়েন্টের টপোলজি
প্যারামিটার ভেক্টর $theta in mathbb{R}^D$-এর জন্য ক্রিটিক্যাল পয়েন্টে প্রথম অন্তরক শূন্য হয়: $nabla_theta L(theta) = 0$। এই বিন্দুর স্থানীয় জ্যামিতি নির্ধারিত হয় দ্বিতীয় ঘাতের হেসিয়ান ম্যাট্রিক্স (Hessian Matrix) $H_{ij} = frac{partial^2 L}{partial theta_i partial theta_j}$-এর মাধ্যমে:
$$L(theta + Delta theta) approx L(theta) + frac{1}{2} Delta theta^T H(theta) Delta theta$$
মোর্স ইনডেক্স (Morse Index) $alpha$ হলো হেসিয়ানের ঋণাত্মক আইগেনভ্যালুসমূহের অনুপাত। একটি ক্রিটিক্যাল পয়েন্টকে লোকাল মিনিমাম হতে হলে তার সমস্ত $D$ সংখ্যক আইগেনভ্যালুকেই নিশ্চিতভাবে ধনাত্মক হতে হবে। যদি আইগেনভ্যালুগুলোর চিহ্ন স্বাধীন মুদ্রা টসের মতো আচরণ করে, তবে কোনো পয়েন্টের লোকাল মিনিমাম হওয়ার সম্ভাবনা দাঁড়ায়:
$$mathbb{P}(text{local minimum}) = 2^{-D}$$
লক্ষাধিক মাত্রার নেটওয়ার্কে এই সম্ভাবনা কার্যত শূন্যের কোঠায় নেমে আসে, যা প্রমাণ করে যে উচ্চ লস স্তরে লোকাল মিনিমার কোনো বাস্তবিক অস্তিত্ব নেই।
২. র্যান্ডম ম্যাট্রিক্স তত্ত্ব ও হেসিয়ান স্পেকট্রাম
আধুনিক ডিপ লার্নিংয়ে র্যান্ডম ম্যাট্রিক্স থিওরি (RMT) প্রয়োগ করে দেখা যায় যে হেসিয়ানের স্পেকট্রাম দুটি ভাগে বিভক্ত:
- কন্টিনিউয়াস বাল্ক (Continuous Bulk): মারচেঙ্কো-পাস্তুর বা উইগনার অর্ধবৃত্ত নিয়ম মেনে চলা প্রায়-শূন্য আইগেনভ্যালুসমূহের বিশাল পুঞ্জ। এগুলো ল্যান্ডস্কেপের সমতল ও নিষ্ক্রিয় দিকগুলোকে নির্দেশ করে।
- বিচ্ছিন্ন শীর্ষ স্পাইক (Isolated Spikes): অল্প কয়েকটি বিশাল ধনাত্মক আইগেনভ্যালু ($lambda_{max} gg 0$) যা মডেলের মূল টাস্ক বা রিপ্রেজেন্টেশনের অভিমুখ নির্দেশ করে।
৩. স্যাডল পয়েন্ট থেকে স্টোক্যাস্টিক উত্তরণ
যদি কোনো স্যাডল পয়েন্টে অন্তত একটি ঋণাত্মক আইগেনভ্যালু থাকে ($lambda_{min} < 0$), তবে তাকে স্ট্রিক্ট স্যাডল পয়েন্ট বলে। ২০১৫ সালে রং গে এবং ২০১৭ সালে চি জিন প্রমাণ করেন যে পার্টার্বড স্টোক্যাস্টিক গ্রেডিয়েন্ট ডিসেন্ট (Perturbed SGD) যেকোনো স্ট্রিক্ট স্যাডল পয়েন্ট থেকে বহুপদী সময়ে (Polynomial Time) সফলভাবে মুক্ত হতে পারে। স্টোক্যাস্টিক নয়েজ ঋণাত্মক বক্রতার দিকে ক্ষুদ্র ধাক্কা দেয়, যার ফলে গতিশীল সিস্টেমটি অসমতা ভেঙে দ্রুত নিম্নতর উপত্যকায় পতিত হয়।
