NAW / AGENTS 02
IMAGE: AI生成ビジュアル
AGENTS / AGENTS
DarwinX — 自然選択でエージェントの「ハーネス」を進化させ、4ベンチマーク平均+17pt（arXiv）
エージェントの能力はモデル重みだけでなく、プロンプト・ツール・スキル・制御フローからなる「ハーネス」に依存する。DarwinXはモデルを凍結したままハーネスの集団を自然選択で進化させる手法で、Terminal-Bench 2.1・TerminalWorld・WebArena-Infinityなど4ベンチマークで平均約17ポイント向上。進化するのはベンチマーク特化のパッチではなく、タスク・検証器・モデルが変わっても生き残る汎用エージェント能力だと主張する。
LLMエージェントの能力はモデル重みだけでなく、そのハーネス（harness）— プロンプト、ツール、スキル、制御フロー — に大きく依存する。自己改善ループは既にハーネスを編集するが、単一系統での探索は経路依存性が高く、局所的な改善が他のタスクを退行させることがある。本論文（Yifan Zhang氏、Silvio Savarese氏ら）は、モデルを凍結したままハーネスの集団を自然選択で進化させる手法「DarwinX」を提案する。
画像出典: arXiv 2608.07545v1（DarwinX: Evolving Agent Harnesses Through Natural Selection、Figure 2）
DarwinXの仕組み
- ハーネスの集団進化: モデルは凍結したまま、ハーネスの変異体（variants）の集団を生成・評価・淘汰する
- preserve-and-extend契約: 解決できるタスク集合を退行（regress）させず、カバレッジを拡張する変異のみを採用
- アーカイブ: 途中で捨てられた代替系統（alternative lineages）を保持し、再結合（recombination）に使う
- 共通編集インターフェース: 失敗由来・教師由来・自己由来の3種類の学習シグナルを同じ編集インターフェースで扱う
- 適合度は検証器任せ: 各ベンチマークが持つ検証器をそのまま適合度に使う（金の解答や人手の選定は不要）
実験結果（4ベンチマーク・1ループで平均約+17pt）
| ベンチマーク | 結果 |
|---|---|
| Terminal-Bench 2.1 | +7.7 → 83.2%（マッチドベース）/ 84.7%（検証済みフロンティア） |
| TerminalWorld（ホールドアウト） | 68.3% — 既製エージェント全般を上回る |
| WebArena-Infinity（実タスク） | pass@1 が 43.5% → 93.0%（audit-clean） |
| 転移テスト | Terminal-Bench 2.1 用に進化したハーネスを SWE-bench Verified へ無変更で転移 |
- 進化で得られるのはベンチマーク特化のパッチではなく、タスク・検証器・ベースモデルを変えても生存する汎用エージェント能力だと論文は主張する
- 主張の含意として「凍結したモデルも、ハーネスの選択によって評価計算（evaluation compute）を永続的な能力に変換できる」と述べている
出典: arXiv 2608.07545（DarwinX: Evolving Agent Harnesses Through Natural Selection）、同HTML版（v1）（2026-08-17確認）。
