সাধারণ কৃত্রিম নিউরাল নেটওয়ার্ক (ANN) মসৃণ ডিফারেনশিয়েবল অ্যাক্টিভেশন ফাংশন (যেমন ReLU) ব্যবহার করায় ব্যাকপ্রোপাগেশন অ্যালগরিদম দিয়ে সহজে অপ্টিমাইজ করা যায়। কিন্তু স্পাইকিং নিউরাল নেটওয়ার্কে (SNN) নিউরন হেভিসাইড স্টেপ ফাংশন (Theta(u – artheta)) মেনে বাইনারি স্পাইক নির্গত করে। এই ফাংশনের ব্যবকলন সর্বত্র শূন্য এবং থ্রেশহোল্ডে অসীম (ডিরাক ডেল্টা), যা দীর্ঘকাল ধরে ডিপ লার্নিং ব্যাকপ্রোপাগেশনকে আটকে রেখেছিল। এই অচলাবস্থা ভেঙেছে আধুনিক সারোগেট গ্রেডিয়েন্ট (Surrogate Gradient) কৌশল।

১. নন-ডিফারেনশিয়েবল স্পাইক সমস্যা

চেইন রুলে গ্রেডিয়েন্ট হিসাব করার সময়:

[
rac{partial mathcal{L}}{partial w} = rac{partial mathcal{L}}{partial s} cdot rac{partial s}{partial u} cdot rac{partial u}{partial w}
]

(rac{partial s}{partial u}) হলো স্টেপ ফাংশনের ডেরিভেটিভ, যা শূন্য হওয়ায় গ্রেডিয়েন্ট ধ্বংস হয়ে যায় (Dead Neuron Problem)।

২. সারোগেট গ্রেডিয়েন্ট সমাধান

ফরোয়ার্ড পাসে প্রকৃত বাইনারি স্পাইক (Theta) বজায় রাখা হয়, কিন্তু ব্যাকওয়ার্ড পাসে ডেল্টা ফাংশনের পরিবর্তে একটি মসৃণ কৃত্রিম বক্ররেখার ডেরিভেটিভ (sigma'(u)) ব্যবহার করা হয় (যেমন ফাস্ট সিগময়েড বা আর্কট্যানজেন্ট):

[
rac{partial s}{partial u} approx rac{1}{pi} rac{alpha}{1 + (alpha (u – artheta))^2}
]

এর ফলে পাইটর্চ ফ্রেমওয়ার্কে স্পাইকিং নেটওয়ার্কগুলোকে সরাসরি অ্যান্ড-টু-অ্যান্ড ব্যাকপ্রোপাগেশন দিয়ে প্রশিক্ষণ দেওয়া সম্ভব হয়, যা সাধারণ ডিপ লার্নিংয়ের সমান নির্ভুলতা দিয়ে শক্তি খরচ শতগুণ কমিয়ে দেয়।

শাকিল মাহমুদ সজল

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।