কগনিটিভ সায়েন্স ও কম্পিউটেশনাল ভাষাতত্ত্ব (পর্ব ১৫): ট্রান্সফরমার আর্কিটেকচার: সেলফ-অ্যাটেনশন

২০১৭ সালে গুগল ব্রেইনের এক যুগান্তকারী গবেষণাপত্র—“Attention Is All You Need”—কৃত্রিম বুদ্ধিমত্তা ও কম্পিউটেশনাল ভাষাতত্ত্বের ধারা চিরতরে বদলে দেয়। এলএসটিএম-এর ধারাবাহিক একমুখী গণনার সীমাবদ্ধতা ভেঙে সম্পূর্ণ সমান্তরাল সেলফ-অ্যাটেনশন (Self-Attention) মেকানিজম প্রবর্তনের মাধ্যমে ট্রান্সফরমার আর্কিটেকচার আধুনিক লার্জ ল্যাঙ্গুয়েজ মডেলের অবিসংবাদিত ইঞ্জিনে পরিণত হয়েছে।

১. রিকারেন্সের সীমাবদ্ধতা ও অ্যাটেনশনের উত্থান

আরএনএন বা এলএসটিএম-এ প্রতিটি শব্দ প্রসেস করতে আগের শব্দের অপেক্ষা করতে হতো, যার কারণে জিপিইউতে সমান্তরালভাবে প্রশিক্ষণ চালানো সম্ভব হতো না। তাছাড়া সম্পূর্ণ বাক্যের অর্থ একটিমাত্র ফিক্সড ভেক্টরে সংকুচিত করার ফলে দীর্ঘ বাক্যের তথ্য হারিয়ে যেত। ট্রান্সফরমার সময়ভিত্তিক নির্ভরতা সম্পূর্ণ বর্জন করে কেবল অ্যাটেনশনের ওপর ভর করে গঠিত হয়।

২. স্কেলড ডট-প্রোডাক্ট অ্যাটেনশন

প্রতিটি শব্দের এমবেডিং থেকে তিনটি ভিন্ন ভেক্টর তৈরি করা হয়:

• কোয়েরি ((mathbf{Q})): শব্দটি অন্য শব্দের মাঝে কী খুঁজছে।
• কি ((mathbf{K})): শব্দের নিজস্ব পরিচয় ও সূত্র।
• ভ্যালু ((mathbf{V})): শব্দের প্রকৃত অর্থবোধক নির্যাস।

এর গাণিতিক সমীকরণটি হলো:

[
ext{Attention}(mathbf{Q}, mathbf{K}, mathbf{V}) = ext{softmax}left( rac{mathbf{Q} mathbf{K}^ op}{sqrt{d_k}}
ight) mathbf{V}
]

এখানে (sqrt{d_k}) দিয়ে ভাগ করার কারণ হলো: ডাইমেনশন বড় হলে ডট প্রোডাক্টের মান অত্যধিক বৃদ্ধি পেয়ে সফটম্যাক্সের গ্রেডিয়েন্ট শূন্যে নেমে যেতে পারে। স্কেলিংয়ের মাধ্যমে ভ্যারিয়্যান্স ১-এ রাখা হয়, যা নিখুঁত ব্যাকপ্রপাগেশন নিশ্চিত করে।

৩. মাল্টি-হেড অ্যাটেনশন (Multi-Head Attention)

একটিমাত্র অ্যাটেনশনের পরিবর্তে একাধিক সমান্তরাল ‘হেড’ ব্যবহার করা হয়। এর ফলে মডেল একই সাথে বিভিন্ন ব্যাকরণিক সম্পর্ক বুঝতে পারে—একটি হেড হয়তো কর্তার সাথে ক্রিয়ার সম্পর্ক দেখে, আরেকটি হেড সর্বনামের আসল রেফারেন্স খুঁজে বের করে।

৪. পজিশনাল এনকোডিং ও লেয়ার নরমালাইজেশন

যেহেতু সেলফ-অ্যাটেনশন শব্দের ক্রম অগ্রাহ্য করে সমান্তরালে কাজ করে, তাই শব্দের অবস্থান বোঝাতে সাইন-কোসাইনের গাণিতিক পজিশনাল এনকোডিং যুক্ত করা হয়। এর সাথে রেসিডুয়াল সংযোগ ((mathbf{x} + ext{SubLayer}(mathbf{x}))) এবং লেয়ার নরমালাইজেশন যুক্ত হয়ে ট্রান্সফরমারকে গভীর থেকে গভীরতর স্তরে স্থিতিশীলভাবে প্রশিক্ষণের ক্ষমতা দেয়।

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।