RESEARCH / 04
Alibaba Accio、実業務を再現するエージェント用ベンチマーク「RealReplicaBench」公開 — 107タスクで最上位モデルも完遂率は約62%
Alibaba InternationalのAccioチーム（电商AI AgentプラットフォームAccio Workを開発）が、実サービスを再現するローカルレプリカ上でエージェントのタスク完遂能力を評価するRealReplicaBenchをGitHubで公開（v1.3.1）。107タスクは53 CLI・28ブラウザ・16ファイル・10 API/MCPで構成され、65がテキストのみ、20がブラウザ+テキスト、22が視覚情報必須。各タスクはフレッシュなコンテナで実行され、決定論的またはLLM支援の検証器が採点する。12モデルファミリーをOpenClaw／Accioの2ハーネスで評価した結果、最上位はClaude Opus 5の60/107（56.1%, OpenClaw）と66/107（61.7%, Accio）、次いでClaude Opus 4.8（51.4%／55.1%）、GPT-5.6 Sol（49.5%／51.4%）。Qwen 3.8 MaxはAccioハーネスでOpus 4.7と並ぶ56/107（52.3%）。採点ジャッジはgemini-3.1-pro-previewで、スコアはAccio管理の評価エンドポイントによる。ハーネス・コードはApache 2.0、タスクセットはCC BY 4.0で公開され、ライブリーダーボードも運用中。