২০১৪ সালে ইয়ান গুডফেলো সম্পূর্ণ ভিন্নধর্মী এক জেনারেটিভ দর্শনের অবতারণা করেন যা কোনো সম্ভাব্যতার অনুমান ছাড়াই কাজ করে: জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক (GAN)। একে তুলনা করা যায় একজন জাল নোট প্রস্তুতকারক (Generator) এবং একজন পুলিশ গোয়েন্দার (Discriminator) মধ্যকার দ্বৈত লড়াইয়ের সাথে। ডিসক্রিমিনেটর আসল ও নকলের পার্থক্য ধরার চেষ্টা করে, আর জেনারেটর তাকে ফাঁকি দেওয়ার মতো নিখুঁত নমুনা তৈরি করে। পরবর্তীতে অপ্টিমাল ট্রান্সপোর্ট থিওরির ওয়াসারস্টাইন দূরত্ব (Wasserstein Distance) যুক্ত হয়ে এই প্রশিক্ষণকে চরম স্থিতিশীলতায় রূপ দেয়।
১. মিনিম্যাক্স জিরো-সাম গেম
মডেলের সামগ্রিক উদ্দেশ্য নির্ধারিত হয় $V(D, G)$ ফাংশনটির মাধ্যমে:
$$min_G max_D V(D, G) = mathbb{E}_{x sim p_{text{data}}}[log D(x)] + mathbb{E}_{z sim p_z}[log(1 – D(G(z)))]$$
স্থির জেনারেটরের জন্য সর্বোত্তম ডিসক্রিমিনেটর হলো $D^*(x) = frac{p_{text{data}}(x)}{p_{text{data}}(x) + p_g(x)}$। এটিকে মূল সমীকরণে বসালে দেখা যায় যে জেনারেটর আসলে বাস্তব উপাত্ত ও কৃত্রিম উপাত্তের জেনসেন-শ্যানন ডাইভারজেন্স (Jensen-Shannon Divergence) সর্বনিম্ন করার চেষ্টা করছে।
২. মোড কোলাপ্স ও ভ্যানিশিং গ্রেডিয়েন্ট সমস্যা
বাস্তব জগতের ডেটা উচ্চ-মাত্রিক স্পেসের একটি অতি ক্ষুদ্র ম্যানিফোল্ডে অবস্থান করে। ফলে আসল ও নকল ডেটার ম্যানিফোল্ড সাধারণত একে অপরকে স্পর্শই করে না। এই অবস্থায় জেনসেন-শ্যানন ডাইভারজেন্স একটি ধ্রুবক মানে ($log 2$) স্থির হয়ে যায় এবং তার গ্রেডিয়েন্ট শূন্য হয়ে পড়ে। এর ফলে ডিসক্রিমিনেটর সহজেই জিতে যায় এবং জেনারেটর কোনো শেখার সংকেত পায় না। অনেক সময় জেনারেটর কেবল একটি মাত্র সহজ ছবি বারবার তৈরি করে ডিসক্রিমিনেটরকে ফাঁকি দেওয়ার চেষ্টা করে, যাকে মোড কোলাপ্স (Mode Collapse) বলে।
৩. ওয়াসারস্টাইন গ্যান (WGAN) ও অপ্টিমাল ট্রান্সপোর্ট
২০১৭ সালে মার্টিন আরজভস্কি জেএস ডাইভারজেন্সের বদলে আর্থ-মুভার দূরত্ব (Wasserstein-1 Distance) প্রয়োগ করেন:
$$W_1(p_{text{data}}, p_g) = inf_{gamma} mathbb{E}[|x – y|]$$
ক্যান্টোরোভিচ-রুবিনস্টাইন দ্বৈততা উপপাদ্যের সাহায্যে ডিসক্রিমিনেটরকে ১-লিপশিটজ ক্রুসেডারে রূপান্তর করা হয়। ওয়াসারস্টাইন দূরত্বের সবচেয়ে বড় সৌন্দর্য হলো—উপাত্তের ম্যানিফোল্ড দুটি সম্পূর্ণ আলাদা হলেও এটি মসৃণ ও অর্থপূর্ণ দূরত্ব নির্দেশ করে, যা গ্রেডিয়েন্ট প্রবাহকে সর্বদা সচল রাখে এবং মোড কোলাপ্স দূর করে।
