HALO: تقييم بشري المرجع دقيق التفصيل للوكلاء الاستباقيين

يتعين على الوكلاء الاستباقيين أن يقرروا ما إذا كانوا سيساعدون، ومتى، وبأي قدر، دون طلب صريح من المستخدم. غالبا ما تعتمد التقييمات الحالية على درجات آلية أو أحكام ثنائية، مما يوفر تشخيصا بشريا محدودا لكيفية استخدام الأدلة وجودة التدخل. لسد هذه الفجوة، تقدم دراسة حديثة HALO، وهو إطار تقييم بشري المرجع ودقيق التفصيل للوكلاء الاستباقيين.

يغطي HALO-Arena أربعة أنواع من الاحتياجات الاستباقية: الاعتمادية، والانسداد، والمخاطرة، والفرصة، عبر عشرة مجالات يومية وخمسين بيئة شخصية. تتطلب السيناريوهات من الوكلاء استرجاع الأدلة من قواعد بيانات منظمة أو مستندات غير منظمة قبل الحكم على ما إذا كانت المساعدة مبررة واختيار نطاقها.

على HALO-Arena، بنى الباحثون مجموعة بيانات HALO-8K المكونة من 8,000 استجابة من عشرة نماذج عبر 400 سيناريو، وعلق عليها عشرون خبيرا من حيث مستوى الإجراء وأحكام المقبولية والتشخيص البشري. بالنسبة للاستجابات المرفوضة، يغطي التشخيص البشري التوقيت والشدة وقضايا أخرى. كما تم تسجيل رموز الاستدلال وجولات الاسترجاع لقياس الجهد وراء هذه الاستجابات.

حققت أفضل النماذج الاحتكارية والمفتوحة المصدر قبولا بنسبة 72.88% و56.63% على التوالي. النتيجة المركزية هي أن فرط الاستباقية هو نمط الفشل السائد المرصود، حيث يمثل التوقيت المبكر أو الشدة المفرطة 61.20% من الاستجابات المرفوضة. وتقدم التحليلات الإضافية نتائج مكملة حول التوازن بين التدخل وضبط النفس، واكتساب الأدلة، ومعايرة التوقيت والشدة.

الدرس العملي: الوكيل الاستباقي الجيد ليس الذي يتدخل أكثر، بل الذي يعرف متى يمتنع. قياس الاستباقية يتطلب قياس ضبط النفس بالقدر نفسه.

كتب هذا المقال Yethikrishna R، المؤسس والمهندس الرئيسي في Mynd Labs، ومنسق وعضو مؤسس في Compyle (YC F25)، من ثريشور في الهند.

المصدر: https://arxiv.org/abs/2610.39086