অধিকাংশ নিউরাল মডেল আউটপুটে সফটম্যাক্স প্রয়োগ করে সম্ভাব্যতা ১-এ স্বাভাবিক (Normalize) করতে বাধ্য হয়। কিন্তু অতি-উচ্চ মাত্রার স্পেসে এই সাধারণীকরণ গণনা করা প্রায় অসম্ভব। ইয়ান লেকান এবং জিওফ্রে হিন্টনের নেতৃত্বাধীন এনার্জি-ভিত্তিক মডেল (Energy-Based Models – EBM) এই স্বাভাবিকীকরণের শর্ত প্রত্যাখ্যান করে। তারা একটি অবিচ্ছিন্ন স্কেলার এনার্জি ফাংশন $E_theta(x)$ সংজ্ঞায়িত করে—যেখানে বাস্তব ও যুক্তিসঙ্গত উপাত্তগুলো গভীর এনার্জি উপত্যকায় (Attractor Basin) অবস্থান করে এবং অবাস্তব উপাত্তগুলো উচ্চ এনার্জি বাধার সম্মুখীন হয়।
১. বোল্টজম্যান-গিবস বিন্যাস ও পার্টিশন ফাংশন
একটি এনার্জি ফাংশনের সাপেক্ষে সম্ভাব্যতা নির্ধারিত হয় বোল্টজম্যান সমীকরণ দ্বারা:
$$p_theta(x) = frac{exp(-E_theta(x))}{Z(theta)}, quad Z(theta) = int exp(-E_theta(tilde{x})) dtilde{x}$$
এখানে হর $Z(theta)$-কে বলা হয় পার্টিশন ফাংশন (Partition Function)। উচ্চ মাত্রায় এই ইন্টিগ্রাল নির্ণয় অসম্ভব হলেও দুটি বিন্দুর আপেক্ষিক সম্ভাব্যতা পরিমাপের জন্য কেবল তাদের এনার্জির পার্থক্য $E(x_2) – E(x_1)$ জানাই যথেষ্ট।
২. পজিটিভ বনাম নেগেটিভ ফেজ ডায়নামিক্স
লগ-লাইকলিহুডের গ্রেডিয়েন্ট হিসাব করলে প্রশিক্ষণ প্রক্রিয়ার দ্বৈত তাপগতীয় রূপ প্রকাশিত হয়:
$$nabla_theta mathcal{L} = mathbb{E}_{x sim p_{text{data}}}[nabla_theta E_theta(x)] – mathbb{E}_{tilde{x} sim p_theta}[nabla_theta E_theta(tilde{x})]$$
- পজিটিভ ফেজ: বাস্তব উপাত্তের বিন্দুগুলোতে এনার্জি হ্রাস করে গভীর কুয়ো বা খাদ তৈরি করে।
- নেগেটিভ ফেজ: মডেলের কল্পিত বা ভুল নমুনাগুলোতে এনার্জি বৃদ্ধি করে চূড়া তৈরি করে।
৩. ল্যাঞ্জেভিন স্যাম্পলিং ও কনট্রাস্টিভ ডাইভারজেন্স
নেগেটিভ ফেজের নমুনা সংগ্রহে ল্যাঞ্জেভিন এমসিএমসি (Langevin MCMC) প্রয়োগ করা হয়। হিন্টন উদ্ভাবিত কনট্রাস্টিভ ডাইভারজেন্স (CD-k) বাস্তব ডেটা থেকে মার্কভ চেইন শুরু করে মাত্র এক বা কয়েক ধাপে কার্যকর নমুনা তৈরি করতে পারে।
৪. আধুনিক হপফিল্ড নেটওয়ার্ক ও ট্রান্সফরমার সমতুল্যতা
১৯৮২ সালে জন হপফিল্ড প্রবর্তিত ক্লাসিক্যাল হপফিল্ড নেটওয়ার্কের মেমরি ধারণক্ষমতা ছিল মাত্র $C approx 0.14 d$। ২০১৬ সালে ক্রটভ ও হপফিল্ড এবং ২০২০ সালে রামসাওয়ার এক্সপোনেনশিয়াল এনার্জি মিথস্ক্রিয়া প্রবর্তন করেন:
$$E(x) = -text{lse}(beta X^T x) + frac{1}{2} x^T x$$
এই এনার্জি ল্যান্ডস্কেপে মেমরির আপডেট নিয়মটি হলো: $x^{text{new}} = X cdot text{softmax}(beta X^T x)$—যা আধুনিক ট্রান্সফরমারের সেলফ-অ্যাটেনশনের হুবহু সমতুল্য! আধুনিক হপফিল্ড নেটওয়ার্কের স্মৃতি ধারণক্ষমতা এক্সপোনেনশিয়ালি বৃদ্ধি পেয়ে দাঁড়ায় $C approx 2^{d/2}$, যা প্রমাণ করে যে ট্রান্সফরমার আসলে একটি আধুনিক অ্যাসোসিয়েটিভ মেমরি এনার্জি সিস্টেম।
