গভীর নিউরাল নেটওয়ার্কের উত্থানের পূর্বে পরিসংখ্যানিক ভাষা মডেল (Statistical Language Modeling) ছিল স্পিচ রিকগনিশন, মেশিন অনুবাদ ও সার্চ ইঞ্জিনের মূল মেরুদণ্ড। মার্কভ চেইনের মাধ্যমে শব্দের অনুক্রমের সম্ভাবনা পরিমাপ এবং শূন্য-গণনা সংকট নিরসনে নেসার-নে স্মুথিংয়ের উদ্ভাবন পরিসংখ্যানিক ভাষাতত্ত্বের এক অবিস্মরণীয় মাইলফলক।

১. ভাষা মডেলের লক্ষ্য ও সম্ভাবনার চেইন রুল

একটি ভাষা মডেল যেকোনো বাক্য বা শব্দ অনুক্রমের সামগ্রিক সম্ভাবনা (P(w_1, w_2, dots, w_N)) গণনা করে। সম্ভাবনার সার্বজনীন চেইন রুল প্রয়োগ করলে দাঁড়ায়:

[
P(w_1, w_2, dots, w_N) = prod_{k=1}^N P(w_k mid w_1, w_2, dots, w_{k-1})
]

কিন্তু বাস্তব ক্ষেত্রে অসীম পূর্ববর্তী প্রেক্ষাপটের ওপর নির্ভর করে সম্ভাবনা গণনা করা অসম্ভব।

২. মার্কভ অনুমান ও ম্যাক্সিমাম লাইকলিহুড (MLE)

মার্কভ অনুমানের মাধ্যমে ধরা হয় যে পরবর্তী শব্দটি কেবলমাত্র তার পূর্ববর্তী (n-1) টি শব্দের ওপর নির্ভরশীল:

[
P(w_k mid w_1^{k-1}) approx P(w_k mid w_{k-n+1}^{k-1})
]

কর্পাসে শব্দের পুনরাবৃত্তির সংখ্যা গণনা করে ম্যাক্সিমাম লাইকলিহুড পদ্ধতিতে বিগ্ৰাম সম্ভাবনা হিসাব করা হয়:

[
P_{ ext{MLE}}(w_k mid w_{k-1}) = rac{C(w_{k-1}, w_k)}{C(w_{k-1})}
]

৩. শূন্য সম্ভাবনা সংকট ও পারপ্লেক্সিটি (Perplexity)

যেহেতু সম্ভাব্য শব্দের জোড়ার সংখ্যা বিশাল ((sim 10^{10})), তাই যেকোনো প্রশিক্ষণ ডেটাসেটেও অনেক সঠিক ব্যাকরণিক শব্দের বিগ্ৰাম অনুপস্থিত থাকে ((C = 0))। যদি কোনো টেস্ট বাক্যে একটিমাত্র অপরিচিত বিগ্ৰাম থাকে, তবে গুণফলের কারণে সম্পূর্ণ বাক্যের সম্ভাবনা শূন্য হয়ে যায় ((P = 0)), এবং মডেলের পারপ্লেক্সিটি (Perplexity) অসীমে পৌঁছায়।

৪. মডিফাইড নেসার-নে স্মুথিং (Kneser-Ney Smoothing)

এই সমস্যা সমাধানে পরিচিত শব্দের থেকে সামান্য সম্ভাবনা কেটে নিয়ে অপরিচিত শব্দে বন্টন করা হয়। ১৯৯৫ সালে নেসার ও নে যে যুগান্তকারী পদ্ধতি আবিষ্কার করেন তার মূল স্তম্ভ দুটি:

  • অ্যাবসোলিউট ডিসকাউন্টিং: প্রতিটি পরিচিত শব্দ থেকে একটি ধ্রুবক মান (d) বিয়োগ করা হয়:
    [
    rac{max(C(w_{i-1}, w_i) – d, 0)}{C(w_{i-1})}
    ]
  • কন্টিনিউয়েশন প্রোবাবিলিটি: ব্যাকঅফ স্তরে কোনো শব্দের একক ফ্রিকোয়েন্সির বদলে শব্দটি কতটি ভিন্ন ভিন্ন প্রেক্ষাপটের পেছনে আসতে পারে ((P_{ ext{continuation}})) তা গণনা করা হয়।

যেমন “সান ফ্রান্সিসকো”-তে “ফ্রান্সিসকো” শব্দটি বারবার আসলেও এটি কেবল “সান”-এর পরেই বসে। কিন্তু “বই” বা “মানুষ” শব্দটি বহু ভিন্ন শব্দের পরে বসতে পারে, ফলে নতুন পরিস্থিতিতে এদের বসার সম্ভাবনা বেশি। এই বাস্তবসম্মত পরিসংখ্যানিক যুক্তিই নেসার-নে স্মুথিংকে এন-গ্রাম মডেলিংয়ের সেরা মানদণ্ড করেছে।

শাকিল মাহমুদ সজল

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।