SWE-bench-Live: обновляемый бенчмарк для проверки агентов, исправляющих ошибки в коде

Задача исправления реальных ошибок в коде стала одним из главных способов проверять большие языковые модели (LLM). Самый известный бенчмарк здесь, SWE-bench, имеет ограничения. Авторы статьи "SWE-bench Goes Live!" (arXiv 2505.23419) из Microsoft предлагают обновляемую версию, SWE-bench-Live.

Что не так с SWE-bench

По словам авторов, SWE-bench:

• не обновлялся с момента выхода;
• охватывает только 12 репозиториев;
• сильно зависит от ручной работы при создании тестовых примеров и настройке исполняемых сред, что ограничивает масштабирование.

Что предлагает SWE-bench-Live

Команда (Linghao Zhang, Chaoyun Zhang, Qingwei Lin, Dongmei Zhang и другие) представила бенчмарк, который можно постоянно пополнять. Первый выпуск включает:

• 1319 задач, взятых из реальных GitHub issues, созданных с 2024 года;
• 93 репозитория;
• отдельный Docker-образ для каждой задачи, чтобы запуск был воспроизводимым.

Кроме того, авторы создали автоматизированный конвейер, который проходит весь путь от создания примера до настройки среды. Это убирает ручные узкие места и позволяет обновлять набор постоянно.

Оценка

Авторы проверили ряд современных моделей и агентных фреймворков на SWE-bench-Live и привели подробные эмпирические данные о том, как они справляются с исправлением реальных ошибок. Бенчмарк опирается на живую активность в репозиториях, что даёт свежую, разнообразную и исполняемую основу для масштабной оценки LLM для кода и кодовых агентов.

Что из этого можно взять разработчикам агентов

Для проверки собственного агента полезно держать набор задач, который обновляется из реальных репозиториев и запускается в изолированных окружениях. Тогда результаты можно повторить, а риск того, что модель уже видела задачу, ниже.

Статью написал Yethikrishna R, основатель и ведущий инженер Mynd Labs, координатор и член-основатель Compyle (YC F25). Он создаёт системы ИИ-агентов и инструменты для разработчиков в Триссуре, Индия.

Источник: Zhang и др., "SWE-bench Goes Live!", https://arxiv.org/abs/2505.23419