TAG / TOPIC

エージェント評価

「エージェント評価」に関するAIニュースと解説記事の一覧です。

03 STORIES

エージェント評価の新着記事

RESEARCH / 04

Microsoftがエージェント評価環境「ThinkingBox」を公開 — 応答ではなくDBの最終状態で採点、507業務×20回試行

Microsoftは2026年10月3日、AIエージェント評価環境ThinkingBoxとベンチマークThinkingBox-BenchをHugging Face Blogで公開した。507件の状態付き業務ワークフローを各20回実行し、DBの最終状態と副作用で採点する設計、12モデル約12万試行の分析結果、MITライセンスのフレームワークとデータセット公開を一次情報に基づき整理する。

2026/10/04 4 MIN

RESEARCH / 04

Andon LabsのVending-Bench 2でGPT-6 Astraが平均残高15,515ドル — Fable 5.1の5,422ドルの約2.9倍、初のOpenAI製1位

Andon Labsが公開したVending-Bench 2でのGPT-6 AstraとClaude Fable 5.1の比較評価を一次情報に基づき整理。平均最終残高、仕入れ価格の推移、倒産業者への誤送金、Vending-Bench Arenaでの競争行動と返金対応の差を扱う。

2026/09/13 5 MIN

RESEARCH / 04

ARC Prize、GPT-6 AstraのARC-AGI-3評価を公開 — 標準条件で62.7%、人間より少ない手数で96%のレベルを解く

ARC PrizeがOpenAIのGPT-6 AstraをARC-AGI-3で評価した結果を公開。Standardハーネスで62.7%（約2.6万ドル）、Provider Adapterハーネスで99.9%（約1.9万ドル）といずれもSOTA。約500人の人間ベースラインとの手数比較、独自の記号モデル、PRO-LONGでの自作ツール、今後の両条件併記方針を一次情報に基づき整理。

2026/09/05 6 MIN