RESEARCH / 04
Hugging FaceとHume AI、音声認識の「ベンチマーク最適化」を定量化 — 上位モデルほど誤った参照書き起こしを再現
Hugging Face Blogで2026年8月21日に公開されたHume AIらによる研究「Measuring benchmark optimization in speech recognition」を紹介。VoxPopuli・LibriSpeechを用いた3つのプローブ（consensus disagreement／masked entity retrieval／orthographic switching）で、11のオープンな音声認識モデルのベンチマーク最適化（benchmaxxing）を定量化。WERが低いモデルほど誤った参照を再現する傾向や、無音化した数値の復元、綴り揺れのベンチマーク準拠など、スコアが汎化性能を過大評価している可能性を実証した。