কম্পিউটার বিজ্ঞানের ইতিহাসে কোনো অ্যালগরিদমের কার্যকারিতা পূর্বে নির্ভর করত মানুষের বুদ্ধিমত্তা ও সূক্ষ্ম কৌশলের ওপর। কিন্তু লার্জ ল্যাঙ্গুয়েজ মডেলের উন্মেষ এই ধারণা আমূল বদলে দিয়েছে। আবিষ্কৃত হয়েছে নিউরাল স্কেলিং ল (Neural Scaling Laws): মডেলের আকার, ডেটাসেটের পরিধি এবং কম্পিউটেশনাল শক্তির সাথে ক্রস-এন্ট্রপি লস কোনো খেয়ালখুশিমতো আচরণ করে না; এটি পদার্থবিজ্ঞানের নিয়মের মতো এক নিখুঁত পাওয়ার-ল (Power-Law) মেনে হ্রাস পায়। আধুনিক এআই-এর কোটি কোটি ডলারের বিনিয়োগ নিয়ন্ত্রিত হয় এই স্কেলিং সূত্রের মাধ্যমে।
১. কাপলান স্কেলিং ল (OpenAI, 2020)
২০২০ সালে ওপেনএআই-এর জ্যারেড কাপলান প্রথম বৃহৎ পরিসরে স্কেলিং নিয়ম প্রকাশ করেন। মোট ফ্লপস $C approx 6ND$-এর সাপেক্ষে তারা দেখান যে লস সূচকীয় হারে কমে। তবে কাপলানের দল দাবি করে যে ডেটা বাড়ানোর চেয়ে মডেলের প্যারামিটার সংখ্যা অনেক বেশি দ্রুত বাড়ানো উচিত ($N propto C^{0.73}, D propto C^{0.27}$)। এর ওপর ভিত্তি করে ১৭৫ বিলিয়ন প্যারামিটারের জিপিটি-৩ তৈরি হয় যা মাত্র ৩০০ বিলিয়ন টোকেনে প্রশিক্ষিত হয়েছিল।
২. চিনচিলা বিপ্লব (DeepMind, 2022)
২০২২ সালে গুগল ডিপমাইন্ডের জর্ডান হফম্যান প্রকাশ করেন তাদের ঐতিহাসিক গবেষণা। তারা প্রমাণ করেন যে কাপলানের পরীক্ষায় একটি মৌলিক ভুল ছিল—লার্নিং রেট শিডিউল সঠিকভাবে সমন্বয় না করায় টোকেন বৃদ্ধির সুফল তখন প্রকাশিত হয়নি।
৪০০টিরও বেশি মডেল প্রশিক্ষণের লস বিশ্লেষণ করে তারা ল্যাগ্রাঞ্জিয়ান মাল্টিপ্লায়ার প্রয়োগের মাধ্যমে প্রমাণ করেন:
$$N_{text{opt}} propto C^{0.5}, quad D_{text{opt}} propto C^{0.5}$$
অর্থাৎ, কম্পিউটেশনাল শক্তি বৃদ্ধির সাথে সাথে প্যারামিটার এবং ট্রেনিং টোকেনকে হুবহু সমান অনুপাতে (১:১) বাড়াতে হবে।
৩. চিনচিলা রুল অব থাম্ব (১ প্যারামিটারে ২০ টোকেন)
হফম্যান দেখান যে সর্বোত্তম কার্যকারিতার জন্য প্রতি ১টি প্যারামিটারের বিপরীতে কমপক্ষে ২০টি টোকেন প্রশিক্ষণ দেওয়া বাধ্যতামূলক। ডিপমাইন্ড মাত্র ৭০ বিলিয়ন প্যারামিটারের Chinchilla মডেল তৈরি করে যা ১.৪ ট্রিলিয়ন টোকেনে প্রশিক্ষিত হয়ে ১৭৫ বিলিয়নের জিপিটি-৩ এবং ২৮০ বিলিয়নের গোফারকে প্রতিটি বেঞ্চমার্কে পরাজিত করে।
৪. ইনফারেন্স-অপ্টিমাল ওভার-ট্রেনিং ও এলএলএএমএ (LLaMA)
চিনচিলা কেবল ট্রেনিং কম্পিউটের হিসাব দেয়। কিন্তু বাস্তবে মডেলকে দীর্ঘদিন কোটি কোটি মানুষের প্রশ্নের উত্তর দিতে হয়। ফলে মেটা তাদের LLaMA সিরিজে চিনচিলার সীমানা ছাড়িয়ে একটি ৭ বিলিয়ন মডেলকে ১ ট্রিলিয়ন টোকেন এবং ৭০ বিলিয়ন মডেলকে ২ ট্রিলিয়নেরও বেশি টোকেনে প্রশিক্ষণ দেয়, যা আধুনিক ওপেন সোর্স এআই বিপ্লবের ভিত্তি স্থাপন করে।
