২০১৭ সালের আদি ট্রান্সফরমার এবং ২০২৩ সালের LLaMA ও Mistral-এর মধ্যবর্তী সময়ে অটোরিগ্রেসিভ ল্যাঙ্গুয়েজ মডেলের কাঠামোগত নকশায় এক নীরব বিবর্তন ঘটে গেছে। জিপিটি-১ থেকে জিপিটি-৩ পর্যন্ত মডেলগুলো ভাসওয়ানির আদি স্থাপত্যের খুব কাছাকাছি ছিল। কিন্তু আধুনিক ট্রিলিয়ন-টোকেন ফাউন্ডেশন মডেলগুলো এক অত্যন্ত দক্ষ ও সমন্বিত মানদণ্ডে এসে উপনীত হয়েছে: Pre-RMSNorm, SwiGLU নন-লিনিয়ারিটি, Rotary Position Embeddings (RoPE) এবং বায়াসহীন আনটাইড ওয়েট প্রক্ষেপণ।
১. অটোরিগ্রেসিভ ডিকোডার স্তরের আধুনিকায়ন
একটি কজাল ল্যাঙ্গুয়েজ মডেল সম্ভাব্যতা চেইন রুল মেনে পরবর্তী টোকেন প্রেডিক্ট করে। সময় ও মেমরির ব্যবহারে ছয় বছরে চারটি প্রধান পরিবর্তন সার্বজনীন রূপ পেয়েছে:
- Post-LN থেকে Pre-LN: নরমালাইজেশনকে রেসিড্যুয়াল কানেকশনের ভেতরে নিয়ে আসায় শত শত স্তর গভীর হলেও গ্রেডিয়েন্ট ভ্যানিশ হয় না।
- LayerNorm থেকে RMSNorm: গড় বিয়োগ করার ঝামেলা বাদ দিয়ে কেবল রুট মিন স্কয়ার স্কেলিং করায় গতি ২০% বৃদ্ধি পায়।
- ReLU/GELU থেকে SwiGLU: সাধারণ নন-লিনিয়ার লেয়ারের বদলে গেটেড বাইলিনিয়ার প্রক্ষেপণ মডেলের ধারণক্ষমতা বহুগুণ বাড়ায়।
- Absolute Positional Encoding থেকে RoPE: জটিল সমতলে ভেক্টর ঘোরানোর মাধ্যমে যেকোনো দৈর্ঘ্যের টেক্সট অনুধাবনের সুযোগ সৃষ্টি হয়।
২. সুইগ্লু (SwiGLU) অ্যাক্টিভেশন মেকানিজম
২০২০ সালে নোয়াম শাযির SwiGLU উদ্ভাবন করেন। এটি সাধারণ ফিড-ফরওয়ার্ড স্তরের মতো একটি ম্যাট্রিক্স গুণ না করে, ইনপুটকে দুটি সমান্তরাল শাখায় বিভক্ত করে একটিকে SiLU অ্যাক্টিভেশন দিয়ে গেট হিসেবে ব্যবহার করে অপরটির সাথে গুণ করে:
$$text{SwiGLU}(x) = (text{swish}(x W_1) odot x W_2) W_3$$
সমান কম্পিউটেশনাল খরচে সুইগ্লু উল্লেখযোগ্যভাবে উন্নত পারফরম্যান্স দেয়, যা PaLM, LLaMA এবং Mistral-এর অবিচ্ছেদ্য অংশ।
৩. আনটাইড আউটপুট হেড (Untied Embeddings)
পূর্বে প্যারামিটার বাঁচাতে ইনপুট এম্বেডিং ম্যাট্রিক্স এবং আউটপুট ক্লাসিফায়ার ম্যাট্রিক্স একই রাখা হতো ($W_{text{head}} = W_e^T$)। কিন্তু আধুনিক শব্দভাণ্ডার সুবিশাল ($V = 128k – 256k$)। গবেষকরা দেখিয়েছেন যে ইনপুটে শব্দের অর্থগত নৈকট্য দরকার হলেও আউটপুটে অসম্ভব শব্দগুলোকে কঠোরভাবে শূন্য করার জন্য তীব্র জ্যামিতিক বিভাজন দরকার। দুটি ম্যাট্রিক্সকে পৃথক (Untied) করে দিলে মডেলের যুক্তিপ্রয়োগ ক্ষমতা বহুগুণ বৃদ্ধি পায়।
