এন-গ্রাম মডেল যেখানে মাত্র কয়েকটি শব্দের পরিসরে সীমাবদ্ধ ছিল, রিকারেন্ট নিউরাল নেটওয়ার্ক (RNN) তাত্ত্বিকভাবে অসীম দীর্ঘ পূর্ববর্তী প্রেক্ষাপটের তথ্য মনে রাখতে সক্ষম। ভ্যানিশিং গ্রেডিয়েন্ট সমস্যা কাটিয়ে ওঠার জন্য এলএসটিএম (LSTM) এবং সিক-টু-সিক (Seq2Seq) আর্কিটেকচারের আবির্ভাব আধুনিক কৃত্রিম বুদ্ধিমত্তার ভাষা বিপ্লবের সূচনা করে।

১. সাধারণ রিকারেন্ট নিউরাল নেটওয়ার্ক (RNN)

আরএনএন শব্দগুলোকে ধারাবাহিকভাবে প্রসেস করে এবং প্রতিটি ধাপে তার অভ্যন্তরীণ লুকায়িত মেমোরি স্টেট ((mathbf{h}_t)) আপডেট করে:

[
mathbf{h}_t = anhleft( mathbf{W}_{hh} mathbf{h}_{t-1} + mathbf{W}_{xh} mathbf{x}_t
ight)
]

এবং সফটম্যাক্সের মাধ্যমে পরবর্তী শব্দের সম্ভাবনা প্রেডিক্ট করে।

২. ভ্যানিশিং গ্রেডিয়েন্ট সংকট (Vanishing Gradients)

সময় ধরে পেছনের দিকে গ্রেডিয়েন্ট ব্যাকপ্রপাগেশন (BPTT) করার সময় বারবার ম্যাট্রিক্স গুণন ঘটে। ইয়োশুয়া বেনজিও ১৯৯৪ সালে প্রমাণ করেন যে, সময়ের ব্যবধান বাড়ার সাথে সাথে গ্রেডিয়েন্ট সূচকীয় হারে শূন্যের দিকে সংকুচিত হয় (( o 0))। এর ফলে সাধারণ আরএনএন ৫-১০ শব্দের বেশি দূরত্বের ব্যাকরণিক সম্পর্ক মনে রাখতে সম্পূর্ণ ব্যর্থ হয়।

৩. লং শর্ট-টার্ম মেমোরি (LSTM)

১৯৯৭ সালে সেপ হোকরাইটার এবং ইয়ুর্গেন শ্মিডহুবের আবিষ্কার করেন এলএসটিএম (LSTM)। এর সবচেয়ে বড় উদ্ভাবন ছিল একটি সরল রৈখিক সেল স্টেট হাইওয়ে ((mathbf{c}_t)) এবং তিনটি নিয়ন্ত্রণকারী গেট:

  • ফরগেট গেট ((mathbf{f}_t)): অপ্রয়োজনীয় অতীত স্মৃতি কতটুকু মুছে ফেলা হবে তা নির্ধারণ করে।
  • ইনপুট গেট ((mathbf{i}_t)): বর্তমান নতুন তথ্যের কতটুকু মেমোরিতে যুক্ত হবে তা নিয়ন্ত্রণ করে।
  • আউটপুট গেট ((mathbf{o}_t)): সেল স্টেট থেকে কতটুকু তথ্য বর্তমান লুকায়িত আউটপুটে প্রকাশ পাবে তা ঠিক করে।

যেহেতু সেল স্টেটের আপডেট মূলত যোগমূলক (Additive), তাই পেছনের দিকে তথ্য আসার সময় গ্রেডিয়েন্ট ক্ষয়প্রাপ্ত হয় না। ফলে এলএসটিএম শত শত শব্দ আগের তথ্য অক্ষুণ্ণ রাখতে সক্ষম হয়।

৪. সিক-টু-সিক (Seq2Seq) রূপরেখা

২০১৪ সালে ইলিয়া সুতস্কেভার প্রবর্তন করেন এনকোডার-ডিকোডার সিক-টু-সিক মডেল। এনকোডার সম্পূর্ণ বাক্যটিকে একটি অর্থবহ ভেক্টরে রূপান্তর করে এবং ডিকোডার সেই ভেক্টর থেকে অন্য ভাষায় অনুবাদের বাক্য তৈরি করে। এই কাঠামোই মেশিন অনুবাদ ও আধুনিক লার্জ ল্যাঙ্গুয়েজ মডেলের ভিত্তি স্থাপন করে।

শাকিল মাহমুদ সজল

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।