চিরায়ত রেসিড্যুয়াল নেটওয়ার্কে তথ্য প্রবাহিত হয় কতগুলো পৃথক, বিচ্ছিন্ন স্তরের মধ্য দিয়ে: $h_{t+1} = h_t + f(h_t)$। ২০১৮ সালে রিকি চেন এবং ডেভিড ডুভেনড উপলব্ধি করেন যে এই রেসিড্যুয়াল সমীকরণটি আসলে একটি অবিচ্ছিন্ন সাধারণ ব্যবকলনীয় সমীকরণের (ODE) অয়লার ডিসক্রিটাইজেশন মাত্র। সময়ের অতি-ক্ষুদ্র সীমায় ($Delta t to 0$) পদার্পণ করে তারা আবিষ্কার করেন নিউরাল অর্ডিনারি ডিফারেনশিয়াল সমীকরণ (Neural ODEs)—যা বিচ্ছিন্ন স্তরগুলোকে একটি অবিচ্ছিন্ন ভেক্টর ফিল্ডে রূপান্তরিত করে এবং অ্যাডজয়েন্ট সেনসিটিভিটি পদ্ধতি প্রয়োগের মাধ্যমে মেমরি খরচকে $O(1)$ ধ্রুবক মানে নামিয়ে আনে।
১. বিচ্ছিন্ন রেসনেট থেকে অবিচ্ছিন্ন গতিশীল প্রবাহ
রেসিড্যুয়াল ব্লকের ধাপকে অবিচ্ছিন্ন সময়ের সাপেক্ষে প্রকাশ করলে পাওয়া যায় মূল ডিফারেনশিয়াল সমীকরণ:
$$frac{dh(t)}{dt} = f(h(t), t, theta)$$
যেখানে $f$ হলো একটি নিউরাল নেটওয়ার্ক যা স্পেসের প্রতিটি বিন্দুতে বেগ ভেক্টর নির্ধারণ করে। ইনপুট $h(0) = x$ থেকে চূড়ান্ত স্তর $T$-এ পৌঁছানো আসলে একটি গাণিতিক ইনিশিয়াল ভ্যালু প্রবলেম (IVP):
$$h(T) = h(0) + int_0^T f(h(t), t, theta) dt$$
এখানে মডেলের কোনো নির্দিষ্ট “স্তর সংখ্যা” নেই; রানগে-কুট্টা (RK4) বা ডরম্যান্ড-প্রিন্সের মতো আধুনিক ওডিই সলভার ব্যবহারকারীর নির্ধারিত নির্ভুলতার ওপর ভিত্তি করে গতিশীলভাবে ধাপের সংখ্যা নির্ধারণ করে।
২. অ্যাডজয়েন্ট পদ্ধতি ও ধ্রুবক মেমরি ব্যাকপ্রোপাগেশন
সাধারণ ব্যাকপ্রোপাগেশনে ওডিই সলভারের সমস্ত মধ্যবর্তী ধাপ মেমরিতে সংরক্ষণ করতে গেলে জিপিইউ মেমরি দ্রুত ফুরিয়ে যায়। চেন এবং তার দল লেভ পনত্রিয়াগিনের ১৯৬২ সালের ম্যাক্সিমাম নীতি প্রয়োগ করে অ্যাডজয়েন্ট ডিফারেনশিয়াল সমীকরণ তৈরি করেন:
$$frac{da(t)}{dt} = -a(t)^T frac{partial f}{partial h(t)}, quad a(t) = frac{partial L}{partial h(t)}$$
ব্যাকওয়ার্ড পাসের সময় সলভার সময়কে উল্টোদিকে ($T to 0$) চালিয়ে চূড়ান্ত আউটপুট থেকে ইনপুট পুনর্গঠন করে এবং সাথে সাথে প্যারামিটার গ্রেডিয়েন্ট সংগ্রহ করে। ফলে কোনো মধ্যবর্তী অ্যাক্টিভেশন মেমরিতে জমিয়ে রাখতে হয় না; মডেল যত গভীর বা জটিলই হোক না কেন, ট্রেনিং মেমরি সর্বদা $O(1)$ ধ্রুবক মানে স্থির থাকে।
৩. অনিয়মিত সময়ের ডেটায় প্রয়োগ
হাসপাতালের আইসিইউ রেকর্ড বা মহাকাশের সিগন্যালের মতো অনিয়মিত সময়ের ব্যবধানে আসা উপাত্তে সাধারণ আরএনএন বা ট্রান্সফরমার ব্যর্থ হয়। কিন্তু নিউরাল ওডিই অবিচ্ছিন্ন সময়ের মডেল হওয়ায় এটি যেকোনো এলোমেলো সময়ের বিন্দুতে স্বতঃস্ফূর্তভাবে সঠিক পূর্বাভাস দিতে সক্ষম।
