ডিপ নিউরাল নেটওয়ার্কে শত শত স্তর যুক্ত করার প্রচেষ্টা একসময় মারাত্মক সংখ্যাগত অস্থিতিশীলতার শিকার হতো: এক্সপ্লোডিং বা ভ্যানিশিং গ্রেডিয়েন্ট, অস্বাভাবিক ভ্যারিয়েন্স এবং সূচনার প্রতি চরম সংবেদনশীলতা। আধুনিক ডিপ লার্নিং বিপ্লব সম্ভব হয়েছে মূলত কার্যকর নরমালাইজেশন স্তর এবং বক্রতা-সংবেদনশীল অপ্টিমাইজার অ্যাডামডব্লিউ (AdamW)-এর যৌথ অবদানে। এই কৌশলগুলো বন্ধুর, এবড়োখেবড়ো অপ্টিমাইজেশন ল্যান্ডস্কেপকে একটি মসৃণ ও সুষম জ্যামিতিক তলে রূপান্তরিত করে।
১. ব্যাচ নরমালাইজেশন: ল্যান্ডস্কেপ স্মুথিং
২০১৫ সালে সের্গেই আইওফে এবং ক্রিশ্চিয়ান সেগেডি ব্যাচ নরমালাইজেশন (BatchNorm) প্রবর্তন করেন। মিনি-ব্যাচ $mathcal{B}$-এর জন্য এটি প্রতিটি চ্যানেলকে স্বাধীনভাবে গড় ও ভ্যারিয়েন্স দিয়ে মানসম্মত করে affine প্যারামিটার $gamma$ ও $beta$ প্রয়োগ করে:
$$hat{x}_i = frac{x_i – mu_{mathcal{B}}}{sqrt{sigma_{mathcal{B}}^2 + epsilon}}, quad y_i = gamma hat{x}_i + beta$$
২০১৮ সালে সান্তুরকার প্রমাণ করেন যে ব্যাচনর্মের মূল সাফল্য কোভ্যারিয়েট শিফট দূর করায় নয়, বরং ল্যান্ডস্কেপের লিপশিটজ কনস্ট্যান্ট নিয়ন্ত্রণ করে হেসিয়ানের কন্ডিশন নাম্বার সংকুচিত করার মাঝে নিহিত।
২. লেয়ারনর্ম এবং আরএমএসনর্ম: সিকোয়েন্স মডেলের ভিত্তি
কম্পিউটার ভিশনে ব্যাচনর্ম সেরা হলেও অটোরিগ্রেসিভ সিকোয়েন্স মডেলে এটি ব্যর্থ হয়। এর সমাধানে আসে:
- লেয়ার নরমালাইজেশন (LayerNorm): প্রতিটি নমুনার জন্য তার সমস্ত অভ্যন্তরীণ ফিচার বা চ্যানেল ডাইমেনশন বরাবর স্বাধীনভাবে গড় ও ভ্যারিয়েন্স হিসাব করে।
- আরএমএসনর্ম (RMSNorm): ২০১৯ সালে ঝাং দেখান যে গড় বিয়োগ করা অপ্রয়োজনীয়; কেবল রুট মিন স্কয়ার এনার্জি $text{RMS}(x) = sqrt{frac{1}{D}sum x_j^2 + epsilon}$ দিয়ে ভাগ করাই যথেষ্ট। এটি আধুনিক এলএলএম (LLaMA, Mistral, Gemma)-এ সময় ও মেমরি সাশ্রয়ী রূপ হিসেবে ব্যবহৃত হচ্ছে।
৩. প্রি-এলএন (Pre-LN) বনাম পোস্ট-এলএন (Post-LN)
মূল ট্রান্সফরমারের পোস্ট-এলএন ব্যবস্থায় রেসিড্যুয়াল কানেকশনের বাইরে নরমালাইজেশন করায় প্রাথমিক স্তরগুলোতে গ্রেডিয়েন্ট সংকুচিত হয়ে যেত, যার ফলে কঠোর ওয়ার্মআপের প্রয়োজন হতো। আধুনিক প্রি-এলএন আর্কিটেকচারে নরমালাইজেশনকে সাব-লেয়ারের ভেতরে স্থাপন করায় মূল রেসিড্যুয়াল স্ট্রিম সম্পূর্ণ উন্মুক্ত থাকে, ফলে শত শত স্তর গভীর হলেও গ্রেডিয়েন্ট অবিকল প্রবাহিত হয়।
৪. অ্যাডামডব্লিউ (AdamW): ডিকাপল্ড ওয়েট ডিকে
ক্লাসিক্যাল অ্যাডামে L2 রেগুলাইজেশন সরাসরি লসের সাথে যুক্ত করায় অ্যাডাপ্টিভ প্রিকন্ডিশনার $sqrt{v_t}$ দ্বারা ওয়েট ডিকে ভাগ হয়ে বিকৃত হয়ে যেত। ২০১৭ সালে লশচিলভ ও হুটার অ্যাডামডব্লিউ উদ্ভাবন করেন, যা গ্রেডিয়েন্ট স্টেপ নেওয়ার পর সরাসরি ইউক্লিডীয় সংকোচন ঘটায় ($theta_{t+1} = theta_t – eta lambda theta_t$), যা মডেলের সাধারণীকরণ ক্ষমতা বহুগুণ বাড়িয়ে দেয়।
