Index of Thoughts & Articles

All Writings

An archive of long-form articles, technical guides, historical analyses, and working notes published over time.

লার্জ ল্যাঙ্গুয়েজ মডেল ও জেনারেটিভ এআই (পর্ব ২০): কৃত্রিম প্রজ্ঞার দিগন্ত — মাল্টিমডালিটি, রিজনিং টোকেন ও টেস্ট-টাইম কম্পিউট

জেনারেটিভ এআইয়ের চূড়ান্ত রূপ, ভিশন-ল্যাঙ্গুয়েজ প্রজেক্টর, মাল্টিমোডাল টোকেনাইজেশন, টেস্ট-টাইম কম্পিউট স্কেলিং সূত্র (o1/o3) এবং কৃত্রিম যুক্তির বিকাশ।
• 1 min read

লার্জ ল্যাঙ্গুয়েজ মডেল ও জেনারেটিভ এআই (পর্ব ১৯): লং-কনটেক্সট সিস্টেম — রিং-অ্যাটেনশন, RoPE ফ্রিকোয়েন্সি স্কেলিং ও নিডল-ইন-আ-হেস্ট্যাক

কনটেক্সট উইন্ডো স্কেলিং গণিত, রোটারি পজিশনাল এম্বেডিং (RoPE) ফ্রিকোয়েন্সি সমন্বয়, রিং-অ্যাটেনশন ডিস্ট্রিবিউটেড রিং টপোলজি এবং নিডল টেস্ট।
• 1 min read

লার্জ ল্যাঙ্গুয়েজ মডেল ও জেনারেটিভ এআই (পর্ব ১৮): ল্যাটেন্ট ডিফিউশন ও ফ্লো ম্যাচিং — স্টেবল ডিফিউশন ও রেকটিফায়েড ফ্লোস

পিক্সেল-স্পেস মেমরি বটলনেক, ভ্যারিয়েশনাল অটোএনকোডার (VAE), স্টেবল ডিফিউশন আর্কিটেকচার, ক্লাসিফায়ার-ফ্রি গাইডেন্স এবং ফ্লো ম্যাচিং।
• 1 min read

লার্জ ল্যাঙ্গুয়েজ মডেল ও জেনারেটিভ এআই (পর্ব ১৭): স্কোর-ভিত্তিক কন্টিনিউয়াস ডিফিউশন — স্টোকাস্টিক ডিফারেনশিয়াল সমীকরণ ও DDPM

নন-ইকুইলিব্রিয়াম থার্মোডাইনামিক্স, ল্যাঞ্জেভিন গতিবিদ্যা, ইতো স্টোকাস্টিক ডিফারেনশিয়াল সমীকরণ (SDE) এবং ডিনয়েজিং ডিফিউশন প্রবাবিলিস্টিক মডেল (DDPM)।
• 1 min read

লার্জ ল্যাঙ্গুয়েজ মডেল ও জেনারেটিভ এআই (পর্ব ১৬): অটোরিগ্রেসিভ ডিকোডিং কৌশল — টেম্পারেচার, টপ-পি নিউক্লিয়াস ও স্পেকুলেটিভ ডিকোডিং

লজিট স্কেলিং থার্মোডাইনামিক্স, টপ-কে বনাম নিউক্লিয়াস স্যাম্পলিং, রিপিটিশন পেনাল্টি এবং স্পেকুলেটিভ ডিকোডিংয়ের মাধ্যমে ক্ষিপ্র ইনফারেন্স।
• 1 min read

লার্জ ল্যাঙ্গুয়েজ মডেল ও জেনারেটিভ এআই (পর্ব ১৫): রিট্রিভাল-অগমেন্টেড জেনারেশন (RAG) — ডেন্স এম্বেডিং, HNSW ইনডেক্সিং ও হাইব্রিড রির‍্যাংকিং

এলএলএম হ্যালুসিনেশন প্রতিরোধ, বাই-এনকোডার সিম্যান্টিক সার্চ, হায়ারার্কিক্যাল নেভিগেবল স্মল ওয়ার্ল্ড (HNSW) গ্রাফ এবং ক্রস-এনকোডার রির‍্যাংকিং।
• 1 min read

লার্জ ল্যাঙ্গুয়েজ মডেল ও জেনারেটিভ এআই (পর্ব ১৪): প্রম্পট ইঞ্জিনিয়ারিং ও ইন-কনটেক্সট লার্নিং — ইন্ডাকশন হেড ও চেইন-অব-থট যুক্তি

ইন-কনটেক্সট লার্নিং (ICL) মেকানিজম, দুই স্তরের ইন্ডাকশন হেড সার্কিট, ইমপ্লিসিট গ্রেডিয়েন্ট ডিসেন্ট, চেইন-অব-থট (CoT) এবং রিজনিং টোকেন।
• 1 min read

লার্জ ল্যাঙ্গুয়েজ মডেল ও জেনারেটিভ এআই (পর্ব ১৩): ডাইরেক্ট প্রেফারেন্স অপটিমাইজেশন (DPO) — রিওয়ার্ড মডেলবিহীন ইমপ্লিসিট লগ-অডস

আরএলএইচএফের জটিলতা দূরীকরণ, ব্র্যাডলি-টেরি সমীকরণের বিপরীত সমাধান, ইমপ্লিসিট রিওয়ার্ড এবং ডিপিও অবজেক্টিভ ফাংশন।
• 1 min read

লার্জ ল্যাঙ্গুয়েজ মডেল ও জেনারেটিভ এআই (পর্ব ১২): রিইনফোর্সমেন্ট লার্নিং ফ্রম হিউম্যান ফিডব্যাক (RLHF) — ব্র্যাডলি-টেরি রিওয়ার্ড মডেল ও পিপিও

মানবীয় পছন্দ মেলানো, ব্র্যাডলি-টেরি রিওয়ার্ড মডেল, প্রক্সিমাল পলিসি অপটিমাইজেশন (PPO), রিওয়ার্ড হ্যাকিং এবং কেএল ডাইভারজেন্স পেনাল্টি।
• 1 min read

লার্জ ল্যাঙ্গুয়েজ মডেল ও জেনারেটিভ এআই (পর্ব ১১): সুপারভাইজড ফাইন-টিউনিং ও ইন্সট্রাকশন টিউনিং — ক্রস-এনট্রপি গতিবিদ্যা

বেস মডেলকে ইন্টারেক্টিভ এজেন্টে রূপান্তর, ChatML মার্কআপ, প্রম্পট-রেসপন্স লস মাস্কিং এবং মাল্টি-টাস্ক ইন্সট্রাকশন সাধারণীকরণ।
• 1 min read