ভাষা, অডিও, স্টক মার্কেট বা বায়োফিজিক্যাল সিগন্যালের মতো ধারাবাহিক প্রক্রিয়ায় প্রতিটি মুহূর্তের ঘটনা তার পূর্বের দীর্ঘ ইতিহাসের ওপর নির্ভরশীল। রিকারেন্ট নিউরাল নেটওয়ার্ক (RNN) একটি লুকায়িত ভেক্টর $h_t$-এর মাধ্যমে এই অতীত স্মৃতি সংরক্ষণ করে। কিন্তু দীর্ঘ সিকোয়েন্সে চিরায়ত আরএনএন কুখ্যাত ভ্যানিশিং ও এক্সপ্লোডিং গ্রেডিয়েন্ট সমস্যায় আক্রান্ত হতো, যার ফলে অতীত স্মৃতি কয়েক ধাপ পরই মিলিয়ে যেত। ১৯৯৭ সালে সেপ হোচরামিটার এবং ইয়ুর্গেন শমিডহুবার লং শর্ট-টার্ম মেমরি (LSTM) উদ্ভাবনের মাধ্যমে এই ঐতিহাসিক সংকটের নিখুঁত সমাধান করেন।
১. ব্যাকপ্রোপাগেশন থ্রু টাইম (BPTT) ও সময়ের বিস্তার
একটি স্ট্যান্ডার্ড আরএনএন $h_t = sigma(W_{hh} h_{t-1} + W_{xh} x_t)$-এর মাধ্যমে অগ্রসর হয়। সময় বরাবর গ্রাফ উন্মোচন করে গ্রেডিয়েন্ট নির্ণয় করতে গেলে চেইন রুল প্রয়োগের ফলে জ্যাকোবিয়ান ম্যাট্রিক্সের গুণফল উৎপন্ন হয়:
$$frac{partial h_T}{partial h_t} = prod_{k=t+1}^T text{diag}(sigma'(z_k)) W_{hh}^T$$
২. বেনজিওর স্পেকট্রাল ব্যাসার্ধ উপপাদ্য
১৯৯৪ সালে ইয়োশুয়া বেনজিও প্রমাণ করেন যে যদি ওজন ম্যাট্রিক্স $W_{hh}$-এর বৃহত্তম আইগেনভ্যালু বা স্পেকট্রাল ব্যাসার্ধ $rho(W_{hh})$ এবং অ্যাক্টিভেশন গ্রেডিয়েন্টের গুণফল ১-এর চেয়ে কম হয় ($gamma rho < 1$), তবে গ্রেডিয়েন্ট সময়ের দূরত্বের সাথে সাথে এক্সপোনেনশিয়াল হারে শূন্যে মিলিয়ে যায় ($|frac{partial h_T}{partial h_t}| to 0$)। ফলে ৫০ বা ১০০ ধাপ আগের কোনো তথ্যের প্রভাব মডেলে পৌঁছাতে পারে না।
৩. এলএসটিএম (LSTM) এবং কনস্ট্যান্ট এরর ক্যারোজেল
হোচরামিটার ও শমিডহুবার আবিষ্কার করেন Constant Error Carousel (CEC): তারা মেমরির জন্য একটি স্বতন্ত্র সেল স্টেট $c_t$ তৈরি করেন যা ম্যাট্রিক্স গুণনের বদলে যোগের মাধ্যমে পরিচালিত হয়:
$$c_t = f_t odot c_{t-1} + i_t odot tilde{c}_t$$
যেখানে $f_t$ হলো ফরগেট গেট, $i_t$ হলো ইনপুট গেট এবং $o_t$ হলো আউটপুট গেট। যোগভিত্তিক আপডেটের কারণে জ্যাকোবিয়ান ম্যাট্রিক্স গুণন ছাড়াই শত শত সময়-পদক্ষেপ ধরে গ্রেডিয়েন্ট অবিকল সংরক্ষিত থাকে।
৪. গেটেড রিকারেন্ট ইউনিট (GRU)
২০১৪ সালে কিয়াংহিউন চো এলএসটিএম-এর ফরগেট ও ইনপুট গেটকে একটি মাত্র আপডেট গেট $z_t$-এ একীভূত করে জিআরইউ (GRU) তৈরি করেন, যা ২৫% কম প্যারামিটারে সমমানের মেমরি সংরক্ষণ নিশ্চিত করে।
