TED: تشخيص التركيب الزمني بين الكلام والرؤية في النماذج السمعية البصرية

يمكن أن تفشل النماذج اللغوية الكبيرة السمعية البصرية (AV-LLMs) في اتخاذ قرارات تخص الفيديو الكامل والكلام المصاحب له، حتى عندما تكون الأدلة البصرية المفيدة قابلة للاسترجاع محليا. دراسة حديثة تقدم إطارا تشخيصيا يسمى التحليل الزمني للأدلة (TED)، وهو إطار لا يتطلب أي تدريب إضافي، ويفصل بين التحقق البصري المحلي والتجميع المرتبط بالكلام.

تقوم الفكرة على أن التعرف الآلي على الكلام يزود النظام بنص مكتوب وفاصل زمني للعبارة. بعد ذلك، يستعلم TED عن نوافذ زمنية خالية من الصوت باستخدام النص لمهام المحاذاة الزمنية والتنبؤ، أو باستخدام إجابات مرشحة لمهمة الربط الزمني بين الوسائط، ثم يجمع الأدلة بالنسبة إلى ذلك الفاصل الزمني.

عبر أربعة نماذج AV-LLM مجمدة على معيار SVHalluc، ارتفعت دقة التنبؤ الزمني من نطاق 29.3 إلى 33.7 بالمئة عند طرح السؤال على الفيديو الكامل إلى نطاق 79.3 إلى 82.2 بالمئة مع TED. وأظهرت التجارب أن استبدال الاستعلام يقلل من الاسترجاع، وأن المرساة الزمنية الملحوظة تظل مفيدة حتى عند تثبيت توافر المناطق الزمنية. كما اختبرت ضوابط العزل الفيزيائي واختصارات التوقيت التفسيرات البديلة.

تميز النتائج بين الأدلة القابلة للاسترجاع محليا والقرارات الناجحة على مستوى الفيديو الكامل، مما يدعو إلى فصل صريح بين محتوى السرد وتوقيت العبارة والأدلة البصرية المفهرسة زمنيا. بعبارة أخرى، المشكلة ليست دائما أن النموذج لا يرى الدليل، بل أنه لا يجمعه في الوقت المناسب مع ما قيل.

كتب هذا المقال Yethikrishna R، المؤسس والمهندس الرئيسي في Mynd Labs، ومنسق وعضو مؤسس في Compyle (YC F25)، من ثريشور في الهند.

المصدر: https://arxiv.org/abs/2610.25352