ডিসিশন ট্রির প্রকাশক্ষমতা এবং শেখার গতি অত্যন্ত দ্রুত হলেও এর একটি মারাত্মক দুর্বলতা ছিল: চরম অস্থিরতা। ট্রেনিং সেটের সামান্য একটি ডেটা পয়েন্ট পরিবর্তন করলে মূল স্প্লিটের সিদ্ধান্ত বদলে যেত, যার ফলে নিচের সম্পূর্ণ গাছটির কাঠামো উল্টেপাল্ট যেত। ১৯৯৬ এবং ২০০১ সালে মার্কিন গণিতবিদ লিও ব্রেইম্যান পরিসংখ্যানিক গড়ের শক্তি ব্যবহার করে এই দুর্বলতাকেই শ্রেষ্ঠ অস্ত্রে রূপান্তরিত করেন। তিনি আবিষ্কার করেন বুটস্ট্র্যাপ অ্যাগ্রিগেশন (Bagging) এবং র্যান্ডম ফরেস্ট (Random Forest)—যা আজও ট্যাবুলার ডেটা বিশ্লেষণে পৃথিবীর সবচেয়ে শক্তিশালী অ্যালগরিদম।
১. এনসেম্বল গড়ের ভ্যারিয়েন্স বিশ্লেষণ
ধরা যাক আমাদের কাছে $B$ সংখ্যক আলাদা প্রেডিক্টর রয়েছে, যাদের প্রত্যেকের নিজস্ব ভ্যারিয়েন্স $sigma^2$ এবং তাদের মধ্যকার পারস্পরিক কোরিলেশন $rho$। যদি আমরা এদের গড় নিয়ে একটি সম্মিলিত এনসেম্বল $bar{f} = frac{1}{B} sum hat{f}_b$ তৈরি করি, তবে তার মোট ভ্যারিয়েন্স দাঁড়ায়:
$$text{Var}(bar{f}) = rho sigma^2 + frac{1 – rho}{B} sigma^2$$
এনসেম্বলের আকার যখন অসীমের দিকে যায় ($B to infty$):
$$lim_{B to infty} text{Var}(bar{f}) = rho sigma^2$$
এই সমীকরণটি এনসেম্বল শিখনের মূল সত্যটি প্রকাশ করে দেয়:
- ডানদিকের অংশ $frac{1 – rho}{B} sigma^2$ গাছ বা মডেলের সংখ্যা বাড়িয়ে অনায়াসেই শূন্যে নামিয়ে আনা যায়।
- কিন্তু ভ্যারিয়েন্স কখনোই অ্যাসিম্পটোটিক ফ্লোর $rho sigma^2$-এর নিচে নামতে পারে না! অর্থাৎ, গাছগুলো যদি নিজেদের মধ্যে একই রকম হয় ($rho = 1$), তবে হাজারটা গাছ যোগ করলেও ভ্যারিয়েন্স বিন্দুমাত্র কমবে না।
সুতরাং সফল এনসেম্বল তৈরির মূল রহস্য হলো—গাছগুলোর পারস্পরিক কোরিলেশন $rho$-কে শূন্যের কাছাকাছি নামিয়ে আনা।
২. বুটস্ট্র্যাপ অ্যাগ্রিগেশন বা ব্যাগিং (Bagging)
একটি একক ডেটাসেট $S$ থেকে বহু স্বাধীন গাছ তৈরি করতে ব্রেইম্যান ব্যবহার করেন ব্র্যাডলি এফরনের বুটস্ট্র্যাপ (Bootstrap) পদ্ধতি: প্রতিস্থাপনের সুযোগ রেখে (with replacement) মূল ডেটাসেট থেকে নতুন $n$ আকারের নমুনা তৈরি করা।
গাণিতিক সম্ভাব্যতা অনুযায়ী, বুটস্ট্র্যাপ স্যাম্পলিংয়ে যেকোনো ডেটা পয়েন্টের বাদ পড়ার সম্ভাবনা হলো:
$$lim_{n to infty} left( 1 – frac{1}{n} right)^n = frac{1}{e} approx ৩৬.৮%$$
অর্থাৎ প্রতিটি বুটস্ট্র্যাপ সেটে প্রায় ৬৩.২% মৌলিক ডেটা থাকে এবং বাকি ৩৬.৮% ডেটা ব্যবহৃত হয় না। এই অব্যবহৃত অংশকে বলা হয় আউট-অব-ব্যাগ ডেটা (OOB — Out-of-Bag)। এটি একটি অভ্যন্তরীণ ভ্যালিডেশন সেট হিসেবে কাজ করে, ফলে আলাদা টেস্ট ডেটা ছাড়াই মডেলের নির্ভুলতা নিরপেক্ষভাবে পরিমাপ করা সম্ভব হয়।
৩. র্যান্ডম ফরেস্ট: কোরিলেশন ভাঙার মাস্টারস্ট্রোক
ব্যাগিং ভ্যারিয়েন্স কমালেও গাছগুলোর মধ্যকার কোরিলেশন তখনও বেশ বেশি থাকত ($rho approx 0.6$)। কারণ ডেটাতে কোনো একটি শক্তিশালী ফিচার থাকলে প্রতিটি গাছ শুরুতেই সেই ফিচার দিয়ে ভাগ করত।
২০০১ সালে ব্রেইম্যান নিয়ে আসেন র্যান্ডম ফরেস্ট (Random Forest)। তিনি প্রতিটি নোডে ফিচার বাছাইয়ের ক্ষেত্রেও দৈবতা যুক্ত করেন:
- প্রতিটি স্প্লিটে সকল $p$ সংখ্যক ফিচার না দেখে কেবল এলোমেলোভাবে বাছাই করা $m approx sqrt{p}$ সংখ্যক ফিচার বিবেচনা করা হয়।
- কেবল সেই ক্ষুদ্র উপসেটের মধ্য থেকেই সেরা স্প্লিটটি নির্বাচন করা হয়।
এর ফলে কোনো একক ফিচার পুরো ফরেস্টকে নিয়ন্ত্রণ করতে পারে না। প্রতিটি গাছ বাধ্য হয় ভিন্ন ভিন্ন ফিচারের সম্পর্ক আবিষ্কার করতে। এর ফলে পারস্পরিক কোরিলেশন $rho$ এক ধাক্কায় ০.৬ থেকে ০.১৫-তে নেমে আসে, এবং ফরেস্টের সামগ্রিক ভ্যারিয়েন্স নাটকীয়ভাবে হ্রাস পায়।
৪. ফরেস্ট হরাইজনের বিশেষ বৈশিষ্ট্য
র্যান্ডম ফরেস্টের দুটি অনন্য বৈশিষ্ট্য রয়েছে:
- গাছ বাড়ালে ওভারফিটিং হয় না: বৃহদাকার সংখ্যার সূত্রের কারণে $B to infty$ হলে ফরেস্টের ত্রুটি একটি সুনির্দিষ্ট সীমায় স্থির হয়ে যায়। হাজার হাজার অতিরিক্ত গাছ যোগ করলেও মডেল কখনো অতিরিক্ত জটিল হয়ে ওভারফিট করে না।
- বহুমাত্রিক অভিযোজন: এটি স্বয়ংক্রিয়ভাবে গুরুত্বপূর্ণ ফিচার শনাক্ত করতে পারে এবং স্কেলিংয়ের তারতম্য অগ্রাহ্য করে নিখুঁত পূর্বাভাস দিতে পারে।
