১৯৪৮ সালে বেল টেলিফোন ল্যাবরেটরিজের ৩২ বছর বয়সী এক অন্তর্মুখী গণিতবিদ ও ক্রিপ্টোগ্রাফার ক্লদ এলউড শ্যানন (Claude Elwood Shannon) *বেল সিস্টেম টেকনিক্যাল জার্নাল*-এ মাত্র ৭৯ পৃষ্ঠার একটি গবেষণাপত্র প্রকাশ করেন। শিরোনাম ছিল সাধারণ: “যোগাযোগের একটি গাণিতিক তত্ত্ব” (A Mathematical Theory of Communication)। শ্যাননের আগে টেলিযোগাযোগকে বিবেচনা করা হতো তারের ভোল্টেজ ও রেডিও তরঙ্গের অ্যামপ্লিফায়ারের মতো চিরায়ত অ্যানালগ প্রকৌশল সমস্যা হিসেবে। শ্যানন সেই পুরোনো দৃষ্টিভঙ্গি ভেঙে চুরমার করে দেন। তিনি প্রমাণ করলেন—মানুষের কণ্ঠস্বর, বিথোভেনের সিম্ফনি, মুদ্রিত বই কিংবা টেলিগ্রাফের মোর্স কোড—যেকোনো তথ্যকে তার বাহ্যিক মাধ্যম থেকে মুক্ত করে একটি সর্বজনীন গাণিতিক এককে রূপান্তর করা সম্ভব, যার নাম তিনি দেন বিট (Bit বা Binary Digit)। এই ডিজিটাল মহাবিপ্লবের কেন্দ্রবিন্দু ছিল তথ্যের অনিশ্চয়তা পরিমাপের এক অবিস্মরণীয় সমীকরণ: শ্যাননের তথ্য এন্ট্রপি (Shannon’s Information Entropy)।

১. সমীকরণের পরিচয়: অনিশ্চয়তার পরিমাপক

কোনো বিচ্ছিন্ন তথ্য উৎস $X$, যার সম্ভাব্য ফলাফল ${x_1, dots, x_n}$ এবং প্রতিটি ঘটার সম্ভাবনা $p_i$, তার তথ্য এন্ট্রপি $H(X)$ সংজ্ঞায়িত হয়:

$$H(X) = -sum_{i=1}^n p(x_i) log_2 p(x_i)$$

যেখানে তথ্যের পরিমাণ ভিত্তি-২ লগারিদমের মাধ্যমে বিট (Bits) এককে পরিমাপ করা হয়:

  • বিস্ময় বা তথ্য উপাদান $I(x_i) = -log_2 p_i$: কোনো ঘটনা নিশ্চিত হলে ($p = 1$), তা ঘটার খবর কোনো নতুন তথ্য দেয় না ($I = 0$ বিট)। কিন্তু কোনো ঘটনা অতি বিরল হলে ($p = 1/1024$), তা ঘটার খবর আমাদের ১০ বিটের সমান বিপুল তথ্য ও বিস্ময় উপহার দেয়। তথ্য হলো মূলত অনিশ্চয়তার অবসান।
  • $H(X)$ (গড় তথ্য এন্ট্রপি): একটি অজানা ফলাফলকে সঠিকভাবে শনাক্ত করতে গড়ে কতগুলো বাইনারি হ্যাঁ/না প্রশ্ন করতে হবে তার পরিমাপ।
  • সর্বোচ্চ এন্ট্রপি: যখন সমস্ত ফলাফল সমানভাবে সম্ভাব্য (Uniform Distribution, $p_i = 1/n$), তখন এন্ট্রপি সর্বোচ্চ হয়: $H_{text{max}} = log_2 n$। একটি নিখুঁত মুদ্রার জন্য $H = ১.০ text{ বিট}$।

২. তথ্য তত্ত্বের দুই স্বর্ণালী উপপাদ্য

  • ১. সোর্স কোডিং উপপাদ্য (ডেটা কম্প্রেশনের চরম সীমা): কোনো তথ্যকে কোনো তথ্য না হারিয়ে $H(X)$ বিটের চেয়ে বেশি সংকুচিত করা গাণিতিকভাবে অসম্ভব। আজকের জিপ ফাইল (ZIP, GZIP), পিএনজি ছবি এবং এমপিথ্রি মূলত শ্যাননের এই এন্ট্রপি সীমার দিকে ধাবিত অ্যালগরিদম।
  • ২. চ্যানেল ক্যাপাসিটি উপপাদ্য (শব্দময় চ্যানেলের গতিসীমা): নয়েজযুক্ত কোনো যোগাযোগ মাধ্যমের মধ্য দিয়ে কি নিখুঁত তথ্য পাঠানো সম্ভব? শ্যানন প্রমাণ করলেন চ্যানেলের ধারণক্ষমতা $C$-এর নিচে থাকলে নির্ভুল কোডিংয়ের মাধ্যমে প্রায় শূন্য ত্রুটিতে তথ্য পাঠানো যায়: $$C = B log_2 left( 1 + frac{S}{N} right)$$ আজকের ফাইভ-জি মোবাইল নেটওয়ার্ক, ওয়াইফাই এবং অপটিক্যাল ফাইবার তারের সর্বোচ্চ গতি এই সমীকরণ দ্বারাই নির্ধারিত হয়।

৩. কৃত্রিম বুদ্ধিমত্তা ও ক্রস-এন্ট্রপি লস

আজকের কৃত্রিম বুদ্ধিমত্তা ও ডিপ লার্নিং মডেলে নিউরাল নেটওয়ার্ককে প্রশিক্ষিত করার সময় যে লস ফাংশন অপ্টিমাইজ করা হয়, তা মূলত শ্যানন এন্ট্রপিরই রূপ: **ক্রস-এন্ট্রপি লস (Cross-Entropy Loss)**। চ্যাটজিপিটি বা জেমিনির মতো লার্জ ল্যাঙ্গুয়েজ মডেল মূলত শ্যাননের তথ্য এন্ট্রপির সূত্র মেনেই ভাষার জটিল সম্ভাবনা কাঠামো আয়ত্ত করে।

Tagged with: #কম্পিউটার বিজ্ঞান #কৃত্রিম-বুদ্ধিমত্তা #কোয়ান্টাম বলবিদ্যা #ক্যালকুলাস #ক্লদ শ্যানন #গণিত #জ্ঞান বদলে দেওয়া সমীকরণসমূহ #ডেটা কম্প্রেশন #তথ্য তত্ত্ব #পদার্থবিজ্ঞান #বাংলা বিজ্ঞান ব্লগ #বিজ্ঞান #বিজ্ঞানের ইতিহাস #শাকিল মাহমুদ সজল
শাকিল মাহমুদ সজল

শাকিল মাহমুদ সজল

সফটওয়্যার প্রকৌশলী ও লেখক, ঢাকা, বাংলাদেশ। কম্পিউটার বিজ্ঞান, পদার্থবিজ্ঞান, ইতিহাস ও ভাবনার সমন্বয়ে ব্যক্তিগত নোট ও প্রবন্ধ সংকলন।