অটোরিগ্রেসিভ ট্রান্সফরমার ডিসক্রিট টেক্সট তৈরিতে রাজত্ব করলেও, বাস্তবসম্মত ছবি, ভিডিও ও অডিও তৈরির জগতে সবচেয়ে শক্তিশালী আর্কিটেকচার হলো ডিফিউশন মডেল (Diffusion Models)। নন-ইকুইলিব্রিয়াম থার্মোডাইনামিক্সের ওপর ভিত্তি করে গড়ে ওঠা এই পদ্ধতিতে সৃষ্টিকে দেখা হয় পদার্থবিজ্ঞানের এনট্রপির বিপরীত প্রক্রিয়া হিসেবে: একটি পরিষ্কার ছবিতে ধাপে ধাপে গাউসিয়ান নয়েজ যোগ করে পুরোপুরি বিশৃঙ্খলায় রূপান্তর করা হয় এবং একটি নিউরাল নেটওয়ার্ককে শেখানো হয় কীভাবে সময়ের কাঁটাকে উল্টো ঘুরিয়ে সেই বিশৃঙ্খলা থেকে নিখুঁত ছবি পুনর্নির্মাণ করতে হয়।
১. ফরোয়ার্ড নয়েজিং প্রক্রিয়া (DDPM)
২০২০ সালে জনাথন হো প্রমুখ DDPM মডেল প্রস্তাব করেন। একটি মূল ছবি $mathbf{x}_0$-তে $T$ সংখ্যক ধাপে সামান্য করে নয়েজ যোগ করা হয়:
q(mathbf{x}_t mid mathbf{x}_{t-1}) = mathcal{N}left(mathbf{x}_t; sqrt{1 – beta_t} mathbf{x}_{t-1}, beta_t mathbf{I}right)
রিপ্যারামিটারাইজেশন ট্রিকের কল্যাণে যেকোনো ধাপ $t$-এর নয়েজযুক্ত রূপ সরাসরি একটিমাত্র সমীকরণে বের করা যায়:
mathbf{x}_t = sqrt{bar{alpha}_t} mathbf{x}_0 + sqrt{1 – bar{alpha}_t} boldsymbol{epsilon}, quad boldsymbol{epsilon} sim mathcal{N}(mathbf{0}, mathbf{I})
শেষ ধাপে পৌঁছালে ছবিটি সম্পূর্ণরূপে অর্থহীন গাউসিয়ান নয়েজে পরিণত হয়।
২. রিভার্স প্রসেস ও স্কোর ম্যাচিং
ছবি তৈরির জন্য এলোমেলো নয়েজ থেকে শুরু করে উল্টো পথে ফিরে আসতে হয়। ইয়াং সং এবং স্টেফানো এরমন দেখান যে এই উল্টো যাত্রা পরিচালনা করার জন্য ডেটা স্পেসের স্টাইন স্কোর ফাংশন (Stein Score Function) $nabla_{mathbf{x}} log q_t(mathbf{x})$ শেখা প্রয়োজন—যা নির্দেশ করে কোন দিকে গেলে নয়েজ কমে ছবির স্পষ্টতা বাড়ে।
৩. কন্টিনিউয়াস স্টোকাস্টিক ডিফারেনশিয়াল সমীকরণ (SDE)
সময়কে অবিচ্ছিন্ন ধারা হিসেবে ধরে ডিফিউশনকে ইতো স্টোকাস্টিক ডিফারেনশিয়াল সমীকরণ (SDE) দিয়ে প্রকাশ করা হয়:
mathrm{d}mathbf{x} = mathbf{f}(mathbf{x}, t) mathrm{d}t + g(t) mathrm{d}mathbf{w}
একটি নিউরাল নেটওয়ার্ক $boldsymbol{epsilon}_theta(mathbf{x}_t, t)$ প্রশিক্ষণ দেওয়া হয় ছবির ভেতরে যোগ করা নয়েজ অনুমান করার জন্য:
mathcal{L}(theta) = mathbb{E} left[ | boldsymbol{epsilon} – boldsymbol{epsilon}_theta(mathbf{x}_t, t) |_2^2 right]
প্রশিক্ষণ শেষে ওডিই সলভারের (ODE Solvers) মাধ্যমে এলোমেলো নয়েজের জটলা থেকে অবিশ্বাস্য স্পষ্টতার ছবি ও শিল্পকর্ম সৃষ্টি করা সম্ভব হয়।
