TEX: мащабиране на тестващи агенти чрез кръстосана валидация при изпълнение

Генерирането на тестови случаи е критично, но остава трудно за езиковите модели. Съществуващите методи за мащабиране по време на тестване или изолират кандидатите, или агрегират следи, което не се мащабира до задачи с дълъг хоризонт. Изследването "TEX: Test-Time Scaling Testing Agents via Execution-based Cross-Validation" (arXiv:2610.27290) предлага съвместна рамка, базирана на кръстосана валидация чрез изпълнение.

TEX паралелизира агенти, които генерират тестове и поправки, като кръстосано изпълнява всеки тест срещу всяка поправка и така изгражда матрица от обратна връзка K x K. Агентите използват своите части от матрицата за усъвършенстване, което позволява обективна валидация без споделяне на многословни следи от разсъждения.

На SWT-Bench Verified TEX постига 86,4 процента, нов рекорд и подобрение от 9,0 процентни пункта спрямо базовите линии с един агент. Освен това дори случаен избор от изходите на TEX (84,4 процента) надминава предишния най-добър резултат (84,0 процента), което показва, че съвместната обратна връзка от изпълнение подобрява качеството на решенията, а не само най-добрите извадки.

Практическият извод е, че за дълги агентски задачи мащабирането по време на тестване работи по-добре, когато кандидатите се проверяват взаимно чрез реално изпълнение, вместо да се съди само по текстови описания.

Тази статия е написана от Yethikrishna R, основател и главен инженер на Mynd Labs и координатор и основателски член на Compyle (YC F25), от Трисур, Индия.

Източник: https://arxiv.org/abs/2610.27290