আধুনিক মেশিন লার্নিং এবং গভীর নিউরাল নেটওয়ার্কগুলো বেঞ্চমার্কে মানুষের চেয়েও বেশি নির্ভুলতা প্রদর্শন করে ঠিকই, কিন্তু তাদের ভেতরে একটি মারাত্মক কাঠামোগত দুর্বলতা লুকিয়ে থাকে: ভ্রান্ত আত্মবিশ্বাস বা মিসক্যালিব্রেশন (Miscalibration)। একটি ডিপ লার্নিং মডেল যখন কোনো পূর্বাভাসের পেছনে ৯৯% সম্ভাবনা দাবি করে, অনেক সময় বাস্তবে দেখা যায় তার সত্য হওয়ার হার মাত্র ৮০%। ক্যান্সার শনাক্তকরণ, স্বায়ত্তশাসিত গাড়ি পরিচালনা বা আইনি সিদ্ধান্তের মতো স্পর্শকাতর ক্ষেত্রে অনিশ্চয়তার সঠিক পরিমাপ ছাড়া পূর্বাভাস বিপজ্জনক। কনফরমাল প্রেডিকশন (Conformal Prediction) এই সংকটের সমাধান দেয়—এটি কোনো পূর্বানুমান ছাড়াই সসীম নমুনায় গাণিতিকভাবে নিশ্চিত প্রেডিকশন সেট প্রদান করে।
১. মিসক্যালিব্রেশন ও এক্সপেক্টেড ক্যালিব্রেশন এরর (ECE)
একটি মডেলকে নিখুঁতভাবে ক্যালিব্রেটেড বলা হয় যদি তার দাবিকৃত সম্ভাব্যতার মান বাস্তব নির্ভুলতার হারের হুবহু সমান হয়:
$$mathbb{P}left( hat{Y} = Y mid hat{P} = p right) = p, quad forall p in [0, 1]$$
২০১৭ সালে চুয়ান গুও এবং সহকর্মীরা দেখান যে আধুনিক গভীর নেটওয়ার্কগুলো অতিরিক্ত আত্মবিশ্বাসী (Overconfident)। এই বিচ্যুতি পরিমাপে Expected Calibration Error (ECE) ব্যবহার করা হয়:
$$text{ECE} = sum_{m=1}^M frac{|B_m|}{n} left| text{acc}(B_m) – text{conf}(B_m) right|$$
২. পোস্ট-হক ক্যালিব্রেশন ও টেম্পারেচার স্কেলিং
মডেলের অন্তর্নিহিত পারফরম্যান্স অক্ষুণ্ণ রেখে সম্ভাব্যতা সংশোধন করার কৌশলগুলোর মধ্যে প্রধান হলো:
- প্ল্যাট স্কেলিং (Platt Scaling): ১৯৯৯ সালে জন প্ল্যাট এসভিএম মার্জিনে লজিস্টিক সিগময়েড ফাংশন প্রয়োগের মাধ্যমে সম্ভাব্যতা সংশোধন করেন।
- আইসোটোনিক রিগ্রেশন (Isotonic Regression): মোনোটোনিক স্টেপ ফাংশন ব্যবহারের মাধ্যমে একটি নন-প্যারামেট্রিক ক্যালিব্রেশন পদ্ধতি।
- টেম্পারেচার স্কেলিং (Temperature Scaling): ডিপ নিউরাল নেটওয়ার্কের লগিট আউটপুটগুলোকে একটি মাত্র ধনাত্মক স্কেলার $T > 0$ দিয়ে ভাগ করা হয়:
$$hat{p}_k(x) = frac{exp(z_k(x) / T)}{sum_{j=1}^K exp(z_j(x) / T)}$$
যখন $T > 1$, পূর্বাভাসিত ক্লাসের ক্রম পরিবর্তন না করেই মডেলের অতিরিক্ত অহংকার ও ওভারকনফিডেন্স প্রশমিত হয়।
৩. কনফরমাল প্রেডিকশন: বণ্টন-নিরপেক্ষ গাণিতিক নিশ্চয়তা
১৯৯৯ সালে ভ্লাদিমির ভভক এবং আলেকজান্ডার গ্যামারম্যান কনফরমাল প্রেডিকশন তত্ত্ব আবিষ্কার করেন। এটি কোনো একক বিন্দুর অনিশ্চিত পূর্বাভাসের বদলে একটি সেট $C(X) subset mathcal{Y}$ তৈরি করে, যা ব্যবহারকারীর নির্ধারিত আত্মবিশ্বাস স্তর $1 – alpha$-এ গাণিতিকভাবে নিখুঁত কভারেজ নিশ্চিত করে:
$$mathbb{P}left( Y_{n+1} in C(X_{n+1}) right) ge 1 – alpha$$
সবচেয়ে গুরুত্বপূর্ণ বৈশিষ্ট্য হলো—এই নিশ্চয়তা বণ্টন-নিরপেক্ষ (Distribution-Free)। ডেটার কোনো অজানা জটিল বণ্টন থাকলেও বা যেকোনো ব্ল্যাক-বক্স মডেল ব্যবহার করা হলেও এটি সমানভাবে কার্যকর, যদি কেবল ডেটা পয়েন্টগুলো এক্সচেঞ্জেবল (Exchangeable) হয়।
৪. স্প্লিট কনফরমাল প্রেডিকশন ও স্যান্ডউইচ বাউন্ড
স্প্লিট কনফরমাল পদ্ধতিতে ডেটাকে ট্রেইনিং এবং ক্যালিব্রেশন সেটে বিভক্ত করা হয়:
- ক্যালিব্রেশন সেটের প্রতিটি বিন্দুর জন্য একটি নন-কনফরমিটি স্কোর (Non-Conformity Score) $s_i = s(x_i, y_i)$ নির্ণয় করা হয় (যেমন ক্লাসিফিকেশনে $1 – hat{P}(Y = y mid x)$)।
- স্কোরগুলোর এমপিরিক্যাল কোয়ান্টাইল $hat{q} = text{Quantile}(s_1, dots, s_n; frac{lceil(n+1)(1-alpha)rceil}{n})$ গণনা করা হয়।
- নতুন যেকোনো টেস্ট ইনপুটের জন্য প্রেডিকশন সেট গঠিত হয়: $C(X_{n+1}) = {y in mathcal{Y}: s(X_{n+1}, y) le hat{q}}$।
এক্সচেঞ্জিবিলিটি নীতির কারণে টেস্ট বিন্দুর স্কোর ক্যালিব্রেশন স্কোরের মাঝে সমভাবে অবস্থান করে, যা নিম্নোক্ত নিখুঁত স্যান্ডউইচ বাউন্ড প্রদান করে:
$$1 – alpha le mathbb{P}left( Y_{n+1} in C(X_{n+1}) right) le 1 – alpha + frac{1}{n+1}$$
কনফরমাল প্রেডিকশন আধুনিক কৃত্রিম বুদ্ধিমত্তার অনিশ্চয়তাকে একটি সুনির্দিষ্ট, নির্ভরযোগ্য ও নিয়ন্ত্রণযোগ্য গাণিতিক শৃঙ্খলায় আবদ্ধ করে।
