বিগত ৬০ বছর ধরে রোবট বুদ্ধিমত্তা বিভিন্ন খণ্ডে বিভক্ত ছিল: কম্পিউটার ভিশন ছবি চিনত, প্ল্যানার চিন্তা করত এবং মোটর কন্ট্রোলার হাত নাড়াত। ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন (VLA) ফাউন্ডেশন মডেল এই সমস্ত বিচ্ছিন্ন সফটওয়্যার প্রাচীর ভেঙে ইন্টারনেটের সুবিশাল ভাষাগত জ্ঞান এবং রোবটের শারীরিক মোটর নিয়ন্ত্রণকে একটিমাত্র মাল্টিমোডাল ট্রান্সফরমারের ভেতরে একত্রিত করেছে। মানুষের মৌখিক কথা শুনে কোনো পূর্বপ্রশিক্ষণ ছাড়াই নতুন নতুন বস্তু চিনতে ও ধরতে পারে এই এমবডিড এআই।

১. শারীরিক পদক্ষেপের টোকেনাইজেশন (Action Tokenization)

গুগলের RT-2 এবং স্ট্যানফোর্ডের OpenVLA-এর মূল উদ্ভাবন হলো রোবটের হাতের ৭-মাত্রিক নড়াচড়াকে ভাষার শব্দের মতো টোকেনে রূপান্তরিত করা:

[
a_t = [Delta x, Delta y, Delta z, Delta ext{roll}, Delta ext{pitch}, Delta ext{yaw}, ext{gripper}]
]

প্রতিটি অবিচ্ছিন্ন সংখ্যাকে ২৫৬টি ডিসক্রিট বিনে ভাগ করে ট্রান্সফরমারের নিজস্ব শব্দকোষে (Vocabulary) অন্তর্ভুক্ত করা হয়। ফলে পরবর্তী শব্দ অনুমানের মতোই রোবট ক্যামেরা দেখে এবং মানুষের নির্দেশ শুনে পরবর্তী শারীরিক অ্যাকশন টোকেন তৈরি করে:

[
p(a_t mid ext{ক্যামেরা ছবি}, ext{“পাকা কলাটি সরিয়ে নাও”})
]

২. ইন্টারনেটের সাধারণ জ্ঞানের বাস্তব প্রয়োগ

ইন্টারনেটের শতকোটি ছবি-লেখার সাথে রোবটের কাজের ডেটা মিলিয়ে প্রশিক্ষণ দেওয়ায় রোবটের মধ্যে চমকপ্রদ সাধারণ জ্ঞান তৈরি হয়:

  • কাউকে বলতে শোনা গেল “টেবিলে কফি পড়ে গেছে, সাহায্য করো”—রোবটটি নিজে থেকেই অনুধাবন করে তরল শুষে নিতে একটি তোয়ালে বা স্পঞ্জ প্রয়োজন, টেবিলে স্পঞ্জ খুঁজে বের করে এবং তা দিয়ে টেবিল মুছে দেয়।
  • যদি বলা হয় “বিলুপ্ত প্রাণীটিকে ধরো”, রোবট কোনো দ্বিধা ছাড়াই টেবিলে রাখা খেলনা ডাইনোসরটি তুলে নেয়, যদিও এমন কোনো ডেমোনস্ট্রেশন সে আগে কখনো দেখেনি।

৩. ত্রিমাত্রিক স্থানিক সিন গ্রাফ (3D Spatial Scene Graphs)

সাধারণ দ্বিমাত্রিক ছবি দেখে গভীরতা বুঝতে যাতে বিভ্রম (Hallucination) না হয়, সেজন্য রোবট একটি ৩ডি স্থানিক সিন গ্রাফ তৈরি করে। এতে বস্তুর সঠিক ত্রিমাত্রিক অবস্থান, ওরিয়েন্টেশন এবং তাদের মধ্যকার সম্পর্ক (যেমন “টেবিলের ওপর”, “বাক্সের ভেতর”) মিলিমিটার স্তরে নির্ভুলভাবে যুক্ত থাকে।

৪. ডিফিউশন পলিসি ও দ্রুত অ্যাকশন জেনারেশন

বৃহৎ ট্রান্সফরমারগুলো প্রতি সেকেন্ডে ৫–১০ বার চিন্তা করতে পারলেও হাতের নিখুঁত কাজের জন্য প্রতি সেকেন্ডে ৫০–১০০ বার সিদ্ধান্ত নিতে হয়। এজন্য VLA মডেলের সাথে ডিফিউশন পলিসি (Diffusion Policy) যুক্ত করা হয়, যা মসৃণ ও প্রাকৃতিক গতিপথ তৈরি করে জটিল যন্ত্রপাতি চালনা ও সূক্ষ্ম অ্যাসেম্বলি কাজ সফলভাবে সম্পন্ন করে।