৭০ বিলিয়ন প্যারামিটারের একটি লার্জ ল্যাঙ্গুয়েজ মডেল FP16 প্রিসিশনে চালাতে কেবল ওজন সংরক্ষণ করতেই ১৪০ গিগাবাইট গ্রাফিক্স মেমরি (VRAM) প্রয়োজন হয়। মডেল কোয়ান্টাইজেশন (Quantization) অবিচ্ছিন্ন ১৬-বিট ফ্লোটিং-পয়েন্ট ওজনকে ৮-বিট, ৪-বিট কিংবা ২-বিট ইন্টিজারে সংকুচিত করে। এটি কেবল সংখ্যা কেটে ছোট করা নয়; বরং বহুমাত্রিক ওজন ম্যাট্রিক্সকে এমনভাবে ক্ষুদ্র গ্রিডে প্রক্ষেপণ করা যাতে মডেলের মূল যুক্তি ও নির্ভুলতা অক্ষুণ্ণ থাকে।
১. কোয়ান্টাইজেশনের প্রাথমিক গণিত
ইউনিফর্ম কোয়ান্টাইজেশন বাস্তব সংখ্যার বিস্তারকে $[x_{min}, x_{max}]$ নির্দিষ্ট বিট $b$-এর পূর্ণসংখ্যার গ্রিডে রূপান্তর করে:
$q = text{clip}left( leftlfloor frac{x}{s} rightrceil + z, -2^{b-1}, 2^{b-1}-1 right)$
যেখানে $s$ হলো স্কেল ফ্যাক্টর এবং $z$ হলো জিরো-পয়েন্ট অফসেট:
$s = frac{x_{max} – x_{min}}{2^b – 1}, quad z = leftlfloor -frac{x_{min}}{s} rightrceil – 2^{b-1}$
ডিকোয়ান্টাইজেশনের মাধ্যমে পুনরায় ফ্লোটিং-পয়েন্ট সংখ্যা অনুমান করা হয়: $hat{x} = s(q – z)$।
২. স্কেলিংয়ে আউটলায়ার ডাইমেনশনের আবির্ভাব
মডেলের আকার যখন ৬.৭ বিলিয়ন প্যারামিটার অতিক্রম করে, তখন এর অ্যাক্টিভেশনে এক বিস্ময়কর ঘটনা ঘটে: কিছু নির্দিষ্ট চ্যানেলের মান স্বাভাবিকের চেয়ে ১০০ গুণ বেশি বৃদ্ধি পায় ($|X| > 100$)। সাধারণ কোয়ান্টাইজেশন ব্যবহার করলে এই বিশালাকার আউটলায়ারগুলোর কারণে স্কেল ফ্যাক্টর বড় হয়ে যায় এবং সাধারণ ক্ষুদ্র মানগুলো শূন্যে বিলীন হয়ে মডেল নষ্ট হয়ে যায়। LLM.int8() এই সমস্যার সমাধান করে: ০.১% আউটলায়ার চ্যানেলকে নিখুঁত FP16-এ গুণ করা হয় এবং বাকি ৯৯.৯% চ্যানেলকে দ্রুতগতির INT8-এ প্রসেস করা হয়।
৩. অপটিমাল ব্রেন সার্জন ও GPTQ
ওজনগুলোকে বিচ্ছিন্নভাবে গোলগাল করার বদলে GPTQ প্রতিটি স্তরের আউটপুট ত্রুটি কমানোর অপ্টিমাইজেশন পরিচালনা করে:
$argmin_{widehat{mathbf{W}}} |mathbf{W}mathbf{X} – widehat{mathbf{W}}mathbf{X}|_2^2$
টেইলর সিরিজের দ্বিতীয় অর্ডার হেসিয়ান ম্যাট্রিক্স $mathbf{H}^{-1} = (2 mathbf{X}mathbf{X}^T + lambda mathbf{I})^{-1}$ ব্যবহার করে একটি ওজনকে ৪-বিটে নামানোর ফলে যে ত্রুটি তৈরি হয়, বাকি ওজনগুলোকে সমন্বয় করে সেই ত্রুটি তাৎক্ষণিকভাবে সংশোধন করে দেওয়া হয়:
$Delta mathbf{w} = – frac{w_q – hat{w}_q}{[mathbf{H}^{-1}]_{qq}} mathbf{H}^{-1}_{:, q}$
৪. অ্যাক্টিভেশন-সচেতন কোয়ান্টাইজেশন (AWQ)
AWQ পদ্ধতি প্রমাণ করে যে সমস্ত ওজন সমান গুরুত্বপূর্ণ নয়। যে ওজনগুলোর সাথে বড় অ্যাক্টিভেশন গুণ হয় (শীর্ষ ১%), কেবল সেগুলোকে সুরক্ষিত রাখলে ৪-বিট কোয়ান্টাইজেশনেও মডেলের কোনো গুণগত ক্ষতি হয় না। এর ফলে একটি সাধারণ গেমিং জিপিইউতেও ৭০ বিলিয়ন প্যারামিটারের বিশ্বমানের মডেল স্বাচ্ছন্দ্যে চালানো সম্ভব হয়।
