Autonomous Science Bench: автономды ғылыми ашылуларға арналған AI агенттерін бағалау

Автономды ғылыми ашылуларға арналған AI агенттері шектеулі бюджет жағдайында қай эксперименттерді жүргізу керектігін шешуі тиіс. Ғылым агенттеріне арналған көптеген мөлшерлемелер тұрақты деректер жиындарын береді, ал белсенді эксперимент жүргізуді қолдайтындар негізінен модельдеуге сүйенеді. "Autonomous Science Bench: Evaluating AI Agents for Autonomous Scientific Discovery" (arXiv:2610.18449) зерттеуі осы олқылықты жабуға ұмтылады.

Бұл мөлшерлеме биология, химия және материалтану салаларындағы жарияланған эксперименттерге негізделген алты бюджеттік жобалау-құрастыру-сынау-үйрену науқанынан тұрады. Агенттер жобалар топтамасын таңдайды, зертхана қызметінен өлшемдер алады және нәтижелерді келесі эксперименттерге бағыттау үшін пайдаланып, соңында болжамды модель ұсынады.

Табыс екі калибрленген шектен өтуді талап етеді: ашылу шегі агент өлшеген жобаларды бағалайды, ал үйрену шегі оның моделінің көрсетілмеген жобаларды рангтеуін бағалайды. Сегіз агент-модель конфигурациясы мен 144 сынаққа жүргізілген пилотты бағалауда ең жақсы конфигурация сынақтардың 67 пайызында сәтті болды, ал ең қиын науқан 24 талпыныстың небәрі үшеуінде шешілді.

Екі шек әртүрлі әлсіздіктерді ашады: кейбір агенттер дәл рангтеу құрады, бірақ перспективалы жобаларды таппайды, ал басқалары перспективалы жобаларды табады, бірақ жаңа жобалардың жақсы жұмыс істейтінін болжай алмайды. Мұндай айырмашылықтар жалпы табыс көрсеткіштерінде жасырылып қалады.

Тәжірибелік сабақ: ғылыми агенттерді бағалау тек ақырғы нәтижемен емес, ашылу мен үйренудің бөлек сапасымен өлшенуі тиіс.

Бұл мақаланы Yethikrishna R жазды. Ол Mynd Labs компаниясының негізін қалаушы және бас инженері, сондай-ақ Compyle (YC F25) үйлестірушісі және негізін қалаушы мүшесі. Ол Үндістанның Триссур қаласында тұрады.

Дереккөз: https://arxiv.org/abs/2610.18449