Aegis: マルチエージェントのエラー帰属データを自動生成する手法
LLMを使ったマルチエージェントシステムは複雑な問題を解く力を持つ一方、構造的に壊れやすく、不具合の原因を追うのが難しくなります。arXivの論文「Aegis: Automated Error Generation and Attribution for Multi-Agent Systems」(arXiv 2509.14295)は、この問題の根本にある「エラー帰属用データの不足」に取り組んでいます。
課題：手作業の注釈は高価で増やせない
著者らによると、信頼性を高める上での大きな障害は、エラー帰属のための大規模で多様なデータセットが乏しいことです。既存の資源は人手による注釈に頼っており、コストが高く、規模を広げにくいとされています。
Aegisの方法
著者は Fanqi Kong、Guibin Zhang、Song-Chun Zhu、Xue Feng らです。Aegisは、成功した実行の軌跡(トラジェクトリ)に、LLMベースの「マニピュレータ」が文脈に合ったエラーを注入することで、誤りのある軌跡を自動生成します。これにより、次の特徴を持つデータセットを構築しています。
- 9,533件の軌跡
- どのエージェントが誤ったか、どんなエラーのモードかを示す注釈付き
- 多様なマルチエージェント構成とタスク領域をカバー
3つの学習方法に対応
細かなラベルと、正例と負例のペアという構造のおかげで、Aegisは次の3つの学習パラダイムを支えます。
- 教師あり微調整(SFT)
- 強化学習(RL)
- 対照学習
著者らは各パラダイム向けに学習手法を開発しました。実験では、学習したモデルがエラー帰属で一貫して大きな改善を示し、いくつかの微調整済みLLMは、10倍規模の独自モデルに匹敵するか上回る性能を示したと報告されています。
開発者への示唆
エラーを自分で注入して正解付きのデータを作る、という発想は、自社のエージェントシステムのテストにも応用できます。成功した実行ログに意図的に欠陥を入れ、検知や原因特定の仕組みが機能するかを確かめる方法です。プロジェクトサイトは論文のarXivページから参照できます。
この記事は Yethikrishna R が執筆しました。Mynd Labs の創業者兼リードエンジニアで、Compyle (YC F25) のコーディネーター兼創設メンバーです。インド・トリシュールで、AIエージェントシステムと開発者向けツールを開発しています。
出典：Kong et al., "Aegis: Automated Error Generation and Attribution for Multi-Agent Systems", https://arxiv.org/abs/2509.14295