একটি আধুনিক লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) তার প্রথম গাণিতিক সমীকরণ সম্পন্ন করার আগেই মানুষের স্বাভাবিক ভাষাকে একটি বিচ্ছিন্ন সংকেতমালায় রূপান্তর করতে হয়: একে বলা হয় টোকেনাইজেশন (Tokenization)। এটি কোনো সাধারণ প্রস্তুতিমূলক ধাপ নয়; এটি হলো আধুনিক জেনারেটিভ এআই-এর সবচেয়ে মৌলিক সীমাবদ্ধতা বা বটলনেক। গণিতে ভুল করা, বানানে অক্ষরের সংখ্যা ভুল গণনা করা বা বহুভাষিক মডেলের ব্যয় বৃদ্ধির মতো সমস্যাগুলো মূলত এই সাবওয়ার্ড টোকেনাইজেশনের কারণে ঘটে থাকে।
১. শব্দ বনাম অক্ষরের চিরন্তন টানাপোড়েন
স্বাভাবিক ভাষা প্রক্রিয়াকরণে দুটি চরম পন্থা রয়েছে:
- শব্দ-ভিত্তিক টোকেনাইজেশন: প্রতিটি পূর্ণাঙ্গ শব্দের জন্য একটি ইউনিক আইডি দিলে সিকোয়েন্স দৈর্ঘ্য ছোট হয়, কিন্তু অভিধানের আকার কোটি ছাড়িয়ে যায়। বাংলা বা ফিনিশের মতো রূপমূলগতভাবে জটিল ভাষায় প্রচুর নতুন শব্দ তৈরি হয় যা মডেলের কাছে অপরিচিত ($langletext{unk}rangle$) থেকে যায়।
- অক্ষর-ভিত্তিক টোকেনাইজেশন: মাত্র ২৫৬টি অক্ষর রাখলে কোনো শব্দই অপরিচিত থাকে না, কিন্তু বাক্যের দৈর্ঘ্য ৪ থেকে ১০ গুণ বেড়ে যায়। ট্রান্সফরমারের অ্যাটেনশন কোয়াড্রেটিক ($O(N^2)$) হারে বাড়ায় এটি কম্পিউটেশনাল বিপর্যয় ডেকে আনে।
২. বাইট-পেয়ার এনকোডিং (BPE) অ্যালগরিদম
১৯৯৪ সালের ফিলিপ গেজের ডেটা কম্প্রেশন অ্যালগরিদমকে ২০১৬ সালে রিকো সেনরিখ নিউরাল ট্রান্সলেশনে প্রয়োগ করে জন্ম দেন BPE। অ্যালগরিদমটি নিচের ধাপে কাজ করে:
- প্রাথমিকভাবে সমস্ত মৌলিক অক্ষর নিয়ে শব্দভাণ্ডার $mathcal{V}_0$ তৈরি করা হয়।
- সম্পূর্ণ করপাসে সবচেয়ে বেশিবার পাশাপাশি আসা দুটি অক্ষরের জোড়া $(c_1, c_2)$ খুঁজে বের করা হয়।
- এই সবচেয়ে ঘন ঘন আসা জোড়াটিকে যুক্ত করে একটি নতুন সাবওয়ার্ড টোকেন তৈরি করা হয় এবং শব্দভাণ্ডারে যোগ করা হয়।
- এই প্রক্রিয়া হাজার হাজার বার পুনরাবৃত্তি করে ৩২ হাজার থেকে ১ লাখ ২৮ হাজার আকারের একটি সর্বোত্তম শব্দভাণ্ডার তৈরি হয়।
ঘন ঘন ব্যবহৃত শব্দগুলো একটি একক টোকেনে পরিণত হয়, আর বিরল শব্দগুলো অর্থপূর্ণ ক্ষুদ্রাংশে ভেঙে যায় (যেমন: “antigravity” $to$ ['anti', 'gravity'])।
৩. বাইট-লেভেল বিপিই (BBPE)
জিপিটি-২ ও আধুনিক এলএলএমগুলোতে কাঁচা ৮-বিট বাইট ($0x00 – 0xFF$) থেকে বিপিই শুরু করা হয়। যেহেতু বিশ্বের যেকোনো ভাষা বা কোড আলটিমেটলি UTF-8 বাইট দ্বারা গঠিত, তাই বাইট-লেভেল বিপিই-তে কখনোই কোনো আননোন টোকেন ত্রুটি হতে পারে না।
৪. টোকেনাইজেশনের পার্শ্বপ্রতিক্রিয়া ও বহুভাষিক বৈষম্য
ইংরেজি ভাষায় প্রতি শব্দে প্রায় ১.৩টি টোকেন খরচ হয়, কিন্তু বাংলা বা হিন্দিতে একটি শব্দের জন্যই ৩ থেকে ৬টি টোকেন খরচ হয়। এর ফলে অ-ইংরেজি ভাষার ব্যবহারকারীদের জন্য এআই ব্যবহারের খরচ বহুগুণ বেড়ে যায় এবং তাদের কনটেক্সট উইন্ডো দ্রুত সংকুচিত হয়ে পড়ে।
