WebStep: ওয়েব এজেন্ট ঠিক কোথায় ভুল করে, ধাপে ধাপে মাপার উপায়

ওয়েব এজেন্টের পরীক্ষায় সাধারণত দেখা হয় কাজটি শেষ পর্যন্ত সফল হলো কি না। কিন্তু সফল না হলে এজেন্ট ঠিক কোথায় ভুল করেছে, সেটা এই এক ফলাফল থেকে বোঝা যায় না। "Where Did It Go Wrong? Process-Level Evaluation of Web Agents with Semantic State Tracking" (arXiv 2606.15673) নামের একটি গবেষণাপত্র এই সমস্যা নিয়ে কাজ করেছে। লেখকরা ইয়নসেই বিশ্ববিদ্যালয় ও মাইক্রোসফট রিসার্চের গবেষক, যাঁদের মধ্যে আছেন Jiwan Chung, JiHyuk Byun, Vibhav Vineet ও Seon Joo Kim।

সমস্যাটা কী

লেখকদের মতে, বেশিরভাগ বেঞ্চমার্ক শুধু চূড়ান্ত সাফল্য মাপে। এতে পুরো ইন্টারঅ্যাকশনের ধারাটি একটিমাত্র হ্যাঁ/না ফলাফলে চাপা পড়ে যায়। একটি উদাহরণ দেওয়া হয়েছে: একজন সহকর্মীর বার্তা খুঁজে সেখানে একটি ইমোজি দিতে হবে। যে এজেন্ট সঠিক থ্রেডে পৌঁছে ভুল ইমোজি দিল, আর যে এজেন্ট সঠিক পাতাটিই খুঁজে পেল না, দুজনেই একই নম্বর পায়।

WebStep বেঞ্চমার্ক

লেখকরা WebStep নামে একটি বেঞ্চমার্ক তৈরি করেছেন, যাতে ১,৮০০টি টাস্ক আছে এবং কাঠিন্য নিয়ন্ত্রিত। প্রতিটি ওয়েবসাইটের পেছনে একটি নির্ধারিত (deterministic) সিম্যান্টিক MDP থাকে। এজেন্ট শুধু GUI-তে কাজ করে, আর পরিবেশ পেছনে উচ্চ-স্তরের অবস্থা ও পরিবর্তনগুলো নিজে থেকে রেকর্ড করে। ফলে হাতে লেবেল না করেই খুঁটিনাটি বিশ্লেষণ করা যায়।

কী পাওয়া গেছে

• তিনটি এজেন্টের সাফল্যের হার ৩৪ থেকে ৩৭ শতাংশের মধ্যে প্রায় সমান, অথচ অনুসন্ধানের পরিধি ও কাজ সম্পাদনের নির্ভুলতায় তারা আলাদা।
• দক্ষতা ধরে ভাগ করলে একই ওয়েবসাইটের ভেতরেও উল্টো র‍্যাঙ্কিং দেখা যায়। প্রশ্নোত্তর টাস্কে Claude CUA নেভিগেশন অ্যাকশনে OpenAI CUA-র চেয়ে ৩০ শতাংশ ভালো, কিন্তু পরিদর্শনে (inspection) ৬.৭ শতাংশ পিছিয়ে।
• কোন ভুলটিতে টাস্ক হারিয়ে যায় তা চিহ্নিত করা যায়, এবং লেখকদের মতে সেই ভুল সব এজেন্টের জন্য এক নয়, এজেন্টভেদে আলাদা।
• টাস্ক কঠিন হলে পার্থক্য বাড়ে। সহজ টাস্কে সাফল্য কাছাকাছি, কিন্তু বেশি অনুসন্ধান লাগলে এজেন্টরা স্পষ্টভাবে আলাদা হয়ে যায়।

এজেন্ট তৈরির দলের জন্য শিক্ষা

শুধু সাফল্যের হার দেখলে কোন দক্ষতা উন্নত করতে হবে বোঝা যায় না। যে পরিবেশে প্রতিটি ধাপের অবস্থা রেকর্ড হয়, সেখানে ব্যর্থতার প্রথম বিচ্যুতির ধাপ খুঁজে বের করা সম্ভব। এতে প্রশিক্ষণ ও পরীক্ষায় কোন দক্ষতায় জোর দিতে হবে তা স্পষ্ট হয়।

এই লেখাটি লিখেছেন Yethikrishna R, তিনি Mynd Labs-এর প্রতিষ্ঠাতা ও লিড ইঞ্জিনিয়ার এবং Compyle (YC F25)-এর কোঅর্ডিনেটর ও প্রতিষ্ঠাতা সদস্য। তিনি ভারতের ত্রিশূর থেকে এআই এজেন্ট সিস্টেম ও ডেভেলপার টুল তৈরি করেন।

সূত্র: Chung et al., "Where Did It Go Wrong? Process-Level Evaluation of Web Agents with Semantic State Tracking", https://arxiv.org/abs/2606.15673