আধুনিক জেনারেটিভ এআইয়ের মূল দর্শন হলো: মডেলের আর্কিটেকচার গৌণ; ডেটার মানই হলো মূল অ্যালগরিদম। একটি স্টেট-অব-দ্য-আর্ট ফাউন্ডেশন মডেল প্রি-ট্রেনিং করতে ১০ থেকে ১৫ ট্রিলিয়ন টোকেন প্রয়োজন হয়। ইন্টারনেটের কাঁচা ডেটাসেট (Common Crawl)-এর ৮৫%-ই অপ্রয়োজনীয় আবর্জনা, স্প্যাম ও নিম্নমানের লেখায় ভরা। আধুনিক লার্জ ল্যাঙ্গুয়েজ মডেলগুলোর মেধা নির্ভর করে পেটাবাইট স্কেলের উন্নত ডেটা ইঞ্জিনিয়ারিং পাইপলাইনের ওপর, যা মিনহাশ হ্যাশিং, পারপ্লেক্সিটি ফিল্টারিং ও সিন্থেটিক ডেটার সমন্বয়ে গঠিত।

১. সদৃশ ডকুমেন্ট অপসারণ: MinHash LSH

ওয়েব স্ক্র্যাপিংয়ের ফলে লাখ লাখ ডুপ্লিকেট ও কপি-পেস্ট পেজ জমা হয়। হুবহু হ্যাশ মিলিয়ে এগুলো ধরা যায় না কারণ ডকুমেন্টের ভেতর সামান্য সময় বা বিজ্ঞাপন আলাদা থাকে। MinHash Locality-Sensitive Hashing (LSH) অত্যন্ত ক্ষিপ্র গতিতে প্রায়-অভিন্ন ডকুমেন্ট চিহ্নিত করে।

একটি ডকুমেন্টের $k$-শিঙ্গল সেটের মধ্যবর্তী সাদৃশ্যকে জ্যাকার্ড সিমিলারিটি (Jaccard Similarity) দ্বারা সংজ্ঞায়িত করা হয়:

$J(D_1, D_2) = frac{|S(D_1) cap S(D_2)|}{|S(D_1) cup S(D_2)|}$

এলোমেলো পারমিউটেশন $pi$ প্রয়োগ করলে দুটি ডকুমেন্টের ক্ষুদ্রতম হ্যাশ মান মিলে যাওয়ার সম্ভাব্যতা হুবহু তাদের জ্যাকার্ড সিমিলারিটির সমান:

$Pr[min(pi(S(D_1))) = min(pi(S(D_2)))] = J(D_1, D_2)$

১২৮টি স্বাধীন হ্যাশ ফাংশনকে কয়েকটি ব্যান্ডে ভাগ করে ট্রিলিয়ন টোকেন থেকে কোটি কোটি অপ্রয়োজনীয় ডুপ্লিকেট দূর করা হয়। ডুপ্লিকেট দূর না করলে মডেল নির্দিষ্ট তথ্য মুখস্থ করে ফেলে এবং সাধারণীকরণের ক্ষমতা হারিয়ে ফেলে।

২. পারপ্লেক্সিটি ও হিউরিস্টিক ফিল্টারিং

ডিডুপ্লিকেশনের পর ডেটাকে কঠোর মান যাচাইয়ের ভেতর দিয়ে যেতে হয়:

  • হিউরিস্টিক নিয়মাবলী: টেক্সটে যতিচিহ্নের অনুপাত, স্টপ-ওয়ার্ডের উপস্থিতি এবং লাইনের দৈর্ঘ্য যাচাই করে স্প্যাম দূর করা হয়।
  • ভাষা শনাক্তকরণ: ফাস্টটেক্সট ক্লাসিফায়ার দিয়ে অনাকাঙ্ক্ষিত মিশ্র ভাষার পেজ বাদ দেওয়া হয়।
  • পারপ্লেক্সিটি ফিল্টারিং: উইকিপিডিয়া বা উচ্চমানের জার্নালের ওপর প্রশিক্ষিত একটি ক্ষুদ্র ল্যাঙ্গুয়েজ মডেল দিয়ে ডকুমেন্টের পারপ্লেক্সিটি মাপা হয়। ভাষা অতিরিক্ত এলোমেলো ও অসংলগ্ন হলে তা সরাসরি বর্জন করা হয়।

৩. সিন্থেটিক ডেটা ও টেক্সটবুক বিপ্লব

ইন্টারনেটের প্রাকৃতিক মানসম্মত লেখার ভাণ্ডার ফুরিয়ে আসায় আধুনিক প্রি-ট্রেনিংয়ে সিন্থেটিক ডেটা (Synthetic Data) অপরিহার্য হয়ে উঠেছে। মাইক্রোসফটের Phi সিরিজের উদ্ভাবন প্রমাণ করেছে যে উচ্চমানের শিক্ষক মডেল দিয়ে তৈরি নিখুঁত পাঠ্যপুস্তকধর্মী ডেটাসেট ব্যবহার করলে অনেক ছোট মডেলও বিশালাকার মডেলের সমান জ্ঞান ও যুক্তি প্রদর্শন করতে পারে।

শাকিল মাহমুদ সজল

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।