চিরায়ত প্যারামেট্রিক মডেলে প্যারামিটার ভেক্টর $theta in mathbb{R}^d$ একটি নির্দিষ্ট সসীম মাত্রায় আবদ্ধ থাকে, যার ফলে নমুনার সংখ্যা $n to infty$ হলেও মডেলের প্রকাশক্ষমতা সীমাবদ্ধ থাকে। বায়েসিয়ান নন-প্যারামেট্রিক (Bayesian Non-Parametrics) তত্ত্ব এই সীমাবদ্ধতা ভেঙে দেয়। এই ধারার সবচেয়ে মার্জিত কাঠামো হলো গাউসিয়ান প্রসেস (Gaussian Process – GP)—যা কোনো নির্দিষ্ট ভেক্টরের ওপর নয়, বরং সরাসরি অসীম মাত্রার অবিচ্ছিন্ন ফাংশনাল স্পেস $mathcal{F} = {f: mathcal{X} to mathbb{R}}$-এর ওপর সম্ভাব্যতা বণ্টন আরোপ করে।

১. গাণিতিক সংজ্ঞা এবং ধারাবাহিকতা

গাণিতিকভাবে, একটি গাউসিয়ান প্রসেস হলো অগণিত র‍্যান্ডম ভ্যারিয়েবলের একটি সমন্বয়, যার যেকোনো সসীম উপসেটের যৌথ বিন্যাস সর্বদা একটি বহু-চলকবিশিষ্ট গাউসিয়ান বিন্যাস (Multivariate Gaussian)। একটি প্রসেস $f(x)$ তার গড় ফাংশন $m(x)$ এবং ধনাত্মক আধা-নির্দিষ্ট কোভ্যারিয়েন্স কার্নেল $k(x, x’)$ দ্বারা সম্পূর্ণ নির্ধারিত হয়:

$$f(x) sim mathcal{GP}left( m(x), k(x, x’) right)$$

যেখানে কলমোগোরোভ এক্সটেনশন উপপাদ্য (Kolmogorov Extension Theorem) নিশ্চিত করে যে এই অসীম মাত্রার স্টোক্যাস্টিক প্রক্রিয়া গাণিতিকভাবে সম্পূর্ণরূপে বৈধ ও সামঞ্জস্যপূর্ণ।

২. কোভ্যারিয়েন্স কার্নেল এবং মসৃণতা

নমুনা ফাংশনের মসৃণতা ও আচরণ নির্ধারিত হয় কার্নেল $k(x, x’)$-এর মাধ্যমে:

  • স্কয়ার্ড এক্সপোনেনশিয়াল (RBF কার্নেল): $k_{text{SE}}(r) = sigma_f^2 expleft( -r^2 / 2ell^2 right)$। এটি অসীম অন্তরীকরণযোগ্য ($C^infty$) অতি-মসৃণ ফাংশন তৈরি করে।
  • ম্যাটার্ন কার্নেল (Matérn Class): যখন $nu = 3/2$ বা $5/2$, ফাংশনগুলো বাস্তব জগতের তরঙ্গ ও সংকেতের মতো বাস্তবিক মাত্রার অমসৃণতা ধারণ করতে পারে।
  • পর্যায়বৃত্ত কার্নেল (Periodic Kernel): নির্দিষ্ট পর্যায়কাল $p$ অনুসারে আবর্তিত চক্রাকার প্যাটার্ন মডেল করতে ব্যবহৃত হয়।

৩. নিখুঁত অ্যানালিটিক্যাল পোস্টেরিয়র ইনফারেন্স

শব্দযুক্ত পর্যবেক্ষণ $y = f(x) + epsilon$ বিবেচনা করি যেখানে $epsilon sim mathcal{N}(0, sigma_n^2)$। পর্যবেক্ষণ বিন্দু $X$ এবং নতুন কোয়েরি $X_*$-এর জন্য যৌথ গাউসিয়ান ডিস্ট্রিবিউশন শর্তাধীন করার মাধ্যমে আমরা নিখুঁত পোস্টেরিয়র সমাধান পাই:

$$mu_* = K(X_*, X) left[ K(X, X) + sigma_n^2 I right]^{-1} y$$

$$Sigma_* = K(X_*, X_*) – K(X_*, X) left[ K(X, X) + sigma_n^2 I right]^{-1} K(X, X_*)$$

এই সমীকরণের সবচেয়ে চমকপ্রদ বৈশিষ্ট্য হলো এর অনিশ্চয়তা পরিমাপ ($Sigma_*$): পরিচিত ডেটার সন্নিকটে ভ্যারিয়েন্স সংকুচিত হয়, কিন্তু অজানা এলাকায় তা প্রসারিত হয়ে মডেলের অজ্ঞতা নিখুঁতভাবে প্রকাশ করে।

৪. মার্জিনাল লাইকলিহুড এবং বায়েসিয়ান অপ্টিমাইজেশন

মডেলের হাইপারপ্যারামিটার নির্ধারণে এমপিরিক্যাল বায়েস পদ্ধতিতে লগ মার্জিনাল লাইকলিহুড সর্বোচ্চকরণ করা হয়:

$$log p(y mid X, theta) = -frac{1}{2} y^T (K_y)^{-1} y – frac{1}{2} log |K_y| – frac{n}{2}log(2pi)$$

এখানে দ্বিতীয় পদ $-frac{1}{2}log|K_y|$ একটি প্রাকৃতিক ওকামের ক্ষুর (Occam’s Razor) হিসেবে কাজ করে যা জটিল মডেলকে স্বয়ংক্রিয়ভাবে শাস্তি দেয়। গাউসিয়ান প্রসেস ব্যয়বহুল ব্ল্যাক-বক্স অপ্টিমাইজেশনে (Bayesian Optimization) একুইজিশন ফাংশন (যেমন GP-UCB) ব্যবহারের মাধ্যমে সর্বোত্তম অন্বেষণ নিশ্চিত করে।