Epoch AI、IKEA家具組立ベンチマークFABを公開 — GPT-6 Astraが80%で首位、10か月で28%から跳躍

独立評価機関のEpoch AIは2026年9月23日、AIがIKEA家具の組立ミスを写真から見抜けるかを測るベンチマーク「Furniture Assembly Benchmark（FAB）」のレポートを公開した。写真と組立説明書から物理的な組立状態を推論する視覚・空間推論能力を測るもので、既存の視覚推論ベンチマークでは手薄な領域を埋める狙いがあるという。以下は同レポートの記載内容の整理であり、結果の独立した検証ではない。

評価設計 — 3種の家具・60枚の写真と組立説明書

• 対象: 複雑さの異なる3種のIKEA家具。STÄLL（靴収納、複雑度4,032・人手の組立目安1.5時間）、TONSTAD（ベッドフレーム、10,878・3.5時間）、GULLABERG（ドレッサー、21,320・5時間）。複雑度は手順数と部品数の積で定義するIKEA Complexity Indexによる。
• 写真60枚: 組立過程で撮影し、一部には意図的に現実的なミスを混ぜた。ミス箇所の先まで組立を続けて発見を難しくした写真もあるという。
• 与件: モデルには組立説明書と、写真を詳しく調べるためのツールが与えられる。正しく組み立てられているか、どこにミスがあるかを判定して高得点を狙う形式だ。

結果 — Astraが80%で首位、速度でも最速

• 躍進: 2025年11月の最良スコアはClaude Opus 4.5の28%だったが、約10か月後にOpenAIのGPT-6 Astraが80%で首位に立ったとしている。
• 次点: Claude Fable 5.1が70%、Claude Opus 5が61%で続いた。過去1年に主要各社が公開した視覚対応モデルを初期リーダーボードとして試したと説明している。
• 速度: GPT-6 Astraの中央値は1枚あたり3分で、評価した中で最速。従来の先行モデルと比べて2倍から10倍速いとしている。
• オープンウェイト: 先行モデルは常にクローズドウェイトで、中国のオープンモデルはフロンティアから少なくとも7か月遅れているとしている。

解釈と制約 — 実時間利用には精度と応答速度が壁

• 結論: Epoch AIは、フロンティアモデルが写真と技術的な指示から物理的な組立てを推論し、組立ミスを認識できるとする。一方で精度と応答の遅さは実時間利用の制約として残り、急速に進歩中と位置づけている。
• 注意点: いずれもEpoch AIの報告値で、本サイトが独自に検証したものではない。試行条件や採点の詳細は一次情報を参照されたい。

出典

• Can AI spot mistakes in IKEA assembly? | Epoch AI
• Furniture Assembly benchmark page | Epoch AI