শ্যাননের এনট্রপি কেবল একটি কার্যকর সূত্র নয়, এটি একটি অনিবার্য গাণিতিক সত্য। ১৯৫৭ সালে রাশিয়ান গণিতবিদ আলেকসান্দর খিনচিন প্রমাণ করেন যে, অনিশ্চয়তা পরিমাপের যেকোনো গাণিতিক সমীকরণ যদি চারটি মৌলিক স্বতঃসিদ্ধ—অবিচ্ছিন্নতা, সমবণ্টনে সর্বোচ্চ মান, অপ্রয়োজনীয় ঘটনায় অপরিবর্তনীয়তা এবং অ্যাডিটিভিটি—মেনে চলে, তবে তা নিশ্চিতভাবে শ্যাননের সূত্রের সমানুপাতিক হতে বাধ্য। একাধিক চলকের মিথস্ক্রিয়া বিশ্লেষণ করলে উন্মোচিত হয় যৌথ এনট্রপি (Joint Entropy), কন্ডিশনাল এনট্রপি (Conditional Entropy) এবং মিউচুয়াল ইনফরমেশন (Mutual Information)-এর এক অপরূপ জ্যামিতিক কাঠামো, যা ক্লাসিক্যাল সেট থিওরির ভেন ডায়াগ্রামের সাথে নিখুঁতভাবে মিলে যায়।
১. খিনচিনের স্বতঃসিদ্ধ ও এনট্রপির এককত্ব
সম্ভাব্যতা বিন্যাস $p_1, dots, p_n$-এর ওপর একটি অনিশ্চয়তা ফাংশন $H(p_1, dots, p_n)$ বিবেচনা করা যাক। এটি চারটি খিনচিন স্বতঃসিদ্ধ মেনে চলে:
- অবিচ্ছিন্নতা: $H$ সম্ভাবনার মান পরিবর্তনের সাথে মসৃণভাবে পরিবর্তিত হয়।
- সর্বোচ্চ মান: ঘটনাগুলোর সম্ভাবনা সমান ($p_i = 1/n$) হলে অনিশ্চয়তা পরম সর্বোচ্চ হয়: $H le H(1/n, dots, 1/n)$।
- প্রসারণশীলতা: শূন্য সম্ভাবনার নতুন ঘটনা যোগ করলে মূল অনিশ্চয়তা অপরিবর্তিত থাকে: $H(p_1, dots, p_n, 0) = H(p_1, dots, p_n)$।
- যোগাশ্রয়ী নীতি: যৌথ পরীক্ষার ক্ষেত্রে মোট অনিশ্চয়তা হলো প্রথমটির অনিশ্চয়তা এবং দ্বিতীয়টির শর্তাধীন অনিশ্চয়তার সমষ্টি: $H(X, Y) = H(X) + H(Y|X)$।
খিনচিনের উপপাদ্য প্রমাণ করে যে এই চারটি শর্ত পূরণকারী একমাত্র সমীকরণ হলো:
[
H(X) = -k sum_{i=1}^n p_i log_b p_i
]
এখানে $b = 2$ এবং $k = 1$ ধরা হলে শ্যাননের বিট একক প্রতিষ্ঠিত হয়।
২. দ্বিমাত্রিক পরিমাপ: যৌথ ও শর্তাধীন এনট্রপি
দুটি দৈব চলক $X$ এবং $Y$-এর যৌথ সম্ভাবনা $p(x, y)$ হলে:
যৌথ এনট্রপি (Joint Entropy)
[
H(X, Y) = -sum_{x} sum_{y} p(x, y) log_2 p(x, y)
]
শর্তাধীন এনট্রপি (Conditional Entropy)
$Y$-এর মান জানা থাকার পর $X$-এর অবশিষ্ট অনিশ্চয়তা হলো $H(X|Y)$:
[
H(X|Y) = -sum_{x} sum_{y} p(x, y) log_2 p(x|y)
]
তথ্যের একটি শাশ্বত নিয়ম হলো: নতুন তথ্য কখনোই গড় অনিশ্চয়তা বৃদ্ধি করতে পারে না:
[
H(X|Y) le H(X)
]
কেবলমাত্র $X$ ও $Y$ সম্পূর্ণ স্বাধীন হলেই সমতা বজায় থাকে। কোনো কিছু জানা আপনাকে কখনোই অধিকতর অজ্ঞ করতে পারে না!
৩. মিউচুয়াল ইনফরমেশন (পারস্পরিক তথ্য)
যোগাযোগ ব্যবস্থার সবচেয়ে গুরুত্বপূর্ণ রাশি হলো মিউচুয়াল ইনফরমেশন $I(X; Y)$। এটি নির্দেশ করে $Y$-কে জানার মাধ্যমে $X$-এর অনিশ্চয়তা কতটুকু হ্রাস পেল:
[
I(X; Y) = H(X) – H(X|Y) = H(X) + H(Y) – H(X, Y)
]
ভেন ডায়াগ্রামের সেট অপারেশনের সাথে এর মিল অনবদ্য:
- সেট সংযোগ $A cup B iff$ যৌথ এনট্রপি $H(X, Y)$
- সেট ছেদ $A cap B iff$ মিউচুয়াল ইনফরমেশন $I(X; Y)$
- সেট বিয়োগ $A setminus B iff$ শর্তাধীন এনট্রপি $H(X|Y)$
৪. কুলব্যাক-লেইব্লার (KL) ডাইভারজেন্স
দুটি সম্ভাবনা বিন্যাস $p(x)$ এবং $q(x)$-এর মধ্যবর্তী তাত্ত্বিক দূরত্ব পরিমাপের নাম হলো রিলেটিভ এনট্রপি বা KL ডাইভারজেন্স:
[
D_{KL}(p parallel q) = sum_{x} p(x) log_2 frac{p(x)}{q(x)}
]
জেনসেনের অসমতা অনুযায়ী সর্বদা $D_{KL}(p parallel q) ge 0$, যার ফলে মিউচুয়াল ইনফরমেশন সর্বদা অঋণাত্মক হয় ($I(X; Y) ge 0$)। এই গাণিতিক ভিত্তির ওপর দাঁড়িয়ে পরবর্তী অধ্যায়ে আমরা দেখব ডেটা কম্প্রেশনের চরম সীমা।
