আধুনিক কৃত্রিম বুদ্ধিমত্তার ইঞ্জিনের প্রধানতম গাণিতিক ভিত্তি হলো অটোমেটিক ডিফারেন্সিয়েশন (Automatic Differentiation – AD)—যার রিভার্স-মোড সংস্করণটি মেশিন লার্নিং জগতে বিখ্যাত ব্যাকপ্রোপাগেশন (Backpropagation) অ্যালগরিদম হিসেবে পরিচিত। নিউমেরিক্যাল ডিফারেন্সিয়েশনের মতো এর কোনো রাউন্ড-অফ ত্রুটি বা বিশাল কম্পিউটেশনাল জটিলতা ($O(D)$) নেই, আবার সিম্বলিক ডিফারেন্সিয়েশনের মতো সমীকরণ অতিরিক্ত দীর্ঘায়িত হওয়ার ঝুঁকিও নেই। ব্যাকপ্রোপাগেশন একটি মাত্র ফরোয়ার্ড ও ব্যাকওয়ার্ড পাসের মাধ্যমে কোটি কোটি প্যারামিটারের নিখুঁত গ্রেডিয়েন্ট নির্ণয় করে $O(1)$ আনুপাতিক সময়ে।

১. কম্পিউটেশনাল ডিরেক্টেড অ্যাসাইক্লিক গ্রাফ (DAG)

যেকোনো জটিল গাণিতিক অপারেশনকে কতগুলো প্রাথমিক অপারেশনের সমন্বয়ে একটি নির্দেশিত চক্রবিহীন গ্রাফে (DAG) রূপান্তর করা যায়। গ্রাফের নোডগুলো টপোলজিক্যাল ক্রমে সাজানো থাকে: ইনপুট নোডগুলো থেকে শুরু করে ক্রমান্বয়ে মধ্যবর্তী নোড হয়ে চূড়ান্ত নোডে স্কেলার লস $L$ উৎপন্ন হয়।

২. ফরোয়ার্ড বনাম রিভার্স মোডের মাত্রাগত দ্বৈততা

একটি সাধারণ রূপান্তর $f: mathbb{R}^n to mathbb{R}^m$-এর জন্য প্রথম-ঘাতের সমস্ত আংশিক অন্তরক ধারণ করে জ্যাকোবিয়ান ম্যাট্রিক্স $J in mathbb{R}^{m times n}$।

  • ফরোয়ার্ড-মোড এডি: জ্যাকোবিয়ান-ভেক্টর প্রোডাক্ট ($J cdot v$) নির্ণয় করে। এটি উপযোগী যখন ইনপুট ডাইমেনশন আউটপুট অপেক্ষা অনেক কম ($n ll m$)।
  • রিভার্স-মোড এডি: ভেক্টর-জ্যাকোবিয়ান প্রোডাক্ট ($u^T cdot J$) নির্ণয় করে। ডিপ লার্নিংয়ে স্কেলার লস হওয়ায় আউটপুট মাত্রা $m = 1$ কিন্তু প্যারামিটার সংখ্যা $n = D sim 10^8 – 10^{11}$। ফলে রিভার্স-মোড মাত্র একটি মাত্র পদক্ষেপে সমগ্র প্যারামিটার স্পেসের গ্রেডিয়েন্ট $nabla_theta L$ নিখুঁতভাবে বের করে দেয়।

৩. ব্যাকপ্রোপাগেশনের অ্যাডজয়েন্ট সমীকরণ

যেকোনো নোড $v_i$-এর অ্যাডজয়েন্ট মানকে সংজ্ঞায়িত করা হয় চূড়ান্ত লস $L$-এর সাপেক্ষে তার সংবেদনশীলতা হিসেবে: $bar{v}_i equiv frac{partial L}{partial v_i}$। মাল্টিভ্যারিয়েট চেইন রুল অনুসারে:

$$bar{v}_i = sum_{j in text{Children}(v_i)} bar{v}_j frac{partial phi_j}{partial v_i}$$

টার্মিনাল নোডে $bar{L} = 1.0$ ধরে গ্রাফের বিপরীতমুখী টপোলজিক্যাল যাত্রার মাধ্যমে প্রতিটি প্যারামিটার নোডে অ্যাডজয়েন্ট গ্রেডিয়েন্ট সংগৃহীত হয়।

৪. মেমরি সেভিং: গ্রেডিয়েন্ট চেকপয়েন্টিং

ব্যাকওয়ার্ড পাসে ব্যবহারের জন্য ফরোয়ার্ড পাসের সমস্ত ইন্টারমিডিয়েট অ্যাক্টিভেশন মেমরিতে জমিয়ে রাখতে হয়, যার ফলে মেমরি খরচ দাঁড়ায় $O(N)$। ২০১৬ সালে চেন উদ্ভাবন করেন গ্রেডিয়েন্ট চেকপয়েন্টিং: কেবল নির্দিষ্ট দূরত্বের চেকপয়েন্ট নোডগুলো সংরক্ষণ করে ব্যাকওয়ার্ড পাসের সময় তাৎক্ষণিকভাবে মধ্যবর্তী মানগুলো পুনরায় গণনা করার মাধ্যমে মেমরি খরচ $O(N)$ থেকে নাটকীয়ভাবে $O(sqrt{N})$-এ নামিয়ে আনা হয়।

শাকিল মাহমুদ সজল

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।