ট্রান্সফরমার আর্কিটেকচারকে যখন কোটি কোটি প্যারামিটার এবং ট্রিলিয়ন ট্রিলিয়ন টোকেনের বিশাল ডেটাসেটে প্রশিক্ষণ দেওয়া হয়, তখন পরিমাণগত সম্প্রসারণের ফলে গুণগত কগনিটিভ রূপান্তর ঘটে। লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) কেবল পরিসংখ্যানিক টেক্সট প্রেডিক্টরের গণ্ডি ছাড়িয়ে ইন-কনটেক্সট লার্নিং ও ধারাবাহিক যৌক্তিক চিন্তন পরিচালনাকারী বহুমুখী বুদ্ধিবৃত্তিক ইঞ্জিনে রূপান্তরিত হয়।

১. কজাল অটোরিগ্রেসিভ প্রশিক্ষণ

আধুনিক ডিকোডার-অনলি লার্জ ল্যাঙ্গুয়েজ মডেলগুলো পরবর্তী শব্দ বা টোকেন অনুমানের ক্রস-এন্ট্রপি লস কমানোর মাধ্যমে প্রশিক্ষিত হয়:

[
mathcal{L}( heta) = -rac{1}{T} sum_{t=1}^T ln P_ heta(x_t mid x_1, dots, x_{t-1})
]

ম্যাট্রিক্স গণনায় ভবিষ্যতের টোকেন আড়াল করতে একটি কজাল অ্যাটেনশন ট্রায়াঙ্গুলার মাস্ক প্রয়োগ করা হয়।

২. চিনচিলা স্কেলিং সূত্র (Chinchilla Scaling Laws)

ডিপমাইন্ডের ২০২২ সালের গবেষণায় প্রমাণিত হয় যে কম্পিউটেশনাল বাজেটের সর্বোচ্চ সদ্ব্যবহারের জন্য মডেলের আকার ((N)) এবং ডেটাসেটের টোকেন সংখ্যা ((D)) উভয়কে সমান অনুপাতে বৃদ্ধি করতে হয়:

[
N_{ ext{opt}} propto sqrt{C}, quad D_{ ext{opt}} propto sqrt{C}
]

অর্থাৎ মডেলের প্যারামিটার দ্বিগুণ করলে ডেটাসেটের আকারও দ্বিগুণ করতে হয়। এই গাণিতিক সূত্র আধুনিক উচ্চ-দক্ষতাসম্পন্ন এলএলএম তৈরির মূল দিকনির্দেশক।

৩. ইন-কনটেক্সট লার্নিং (In-Context Learning)

এলএলএম-এর সবচেয়ে চমৎকার বৈশিষ্ট্য হলো কোনো ওজন বা প্যারামিটার পরিবর্তন না করেই কেবল প্রম্পটে কয়েকটি উদাহরণ দিলে মডেল তাৎক্ষণিকভাবে সম্পূর্ণ নতুন কোনো কাজ শিখে ফেলতে পারে। গবেষণায় দেখা গেছে সেলফ-অ্যাটেনশন স্তরগুলো ফরওয়ার্ড পাসের ভেতরেই এক ধরণের অবচেতন গ্র্যাডিয়েন্ট ডিসেন্ট অ্যালগরিদম কার্যকর করে।

৪. ইমার্জেন্ট ক্ষমতা ও চেইন-অব-থট (CoT)

মডেলের আকার একটি নির্দিষ্ট স্কেল অতিক্রম করলে হঠাৎ করে এমন সব ক্ষমতা দৃশ্যমান হয় যা ছোট মডেলে অনুপস্থিত ছিল—একে ইমার্জেন্ট ক্ষমতা (Emergent Abilities) বলা হয়। “ধাপে ধাপে চিন্তা করো” (Chain-of-Thought) প্রম্পট ব্যবহারের মাধ্যমে মডেল জটিল গাণিতিক ও যৌক্তিক সমস্যার প্রতিটি ধাপ আলাদা টোকেন হিসেবে প্রকাশ করে মানুষের সিস্টেম ২-এর মতো গভীর চিন্তন প্রক্রিয়া সম্পাদন করতে পারে।

শাকিল মাহমুদ সজল

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।