OpenAIが「MentalHealthBench」を公開 — 22カ国80人超の専門家と作ったメンタルヘルス対応の評価ベンチ

OpenAIは2026年9月23日（UTC）、現実的なメンタルヘルス関連の会話におけるAIシステムの応答を測定する新しいオープンベンチマーク「MentalHealthBench」を発表した。週10億人超がChatGPTを使う中で、関係性の悩みや日常のストレス、大切な人への支援など幅広い相談に「正確さ・実践的判断・利用者の主体性の尊重」をもって応答できるかを測る狙いだと説明している。以下は同社公式ブログの記載内容の整理であり、性能の数値的主張は同社の公表内容として扱う。

80人超の専門家と作った評価設計 — 重み付きルーブリックで採点

• 共同開発体制: 22カ国・80人超の公認心理士および精神科医と共同開発。19言語・約20の細分専門分野をカバーするとしている。先行するHealthBench／HealthBench Professionalでの臨床家連携の延長と位置づけている
• 評価の観点: 安全性、文脈の聞き取り（seeking context）、利用者の主体性（agency）の保持、適切な場合の実行可能な助言など、メンタルヘルス対応の主要行動を評価する
• 採点基準の作り方: 専門家が各合成会話を読み、最終ユーザー発話への応答を評価する詳細なルーブリック基準を作成。各基準は-10〜+10の重みを持ち、有益な行動に加点、有害な行動に減点する。臨床的重要性が高いほど絶対値が大きい
• 合意形成: 各会話は最低3人の専門家が査読し、最低2人が合意し3人目が矛盾しない基準のみを採用。最終ルーブリックは専門家の共有判断を反映するとしている
• 自動採点: 各会話の応答採点には自動グレーダーとして「GPT-5.6 Sol」を使用。採点手順と評価設定の詳細は論文に記載するとしている

合成会話で幅広い場面を再現 — ペルソナ・深刻度・10の行動次元

• プライバシー配慮の合成データ: プライバシー保護技法を用い、AIのメンタルヘルス利用の実パターンを反映した合成会話を作成。家族の死別などの背景情報を含む場面もあり、モデルが文脈を使い分けられるかを測る
• 4種の利用者ペルソナ: 成人、13〜17歳のティーン、介護者、臨床家。多言語・多地域を対象とし、ティーン人格の会話は若年メンタルヘルスの専門臨床家が査読した
• 3段階の深刻度: 日常的な感情を含む非急性（non-acute）、深刻な懸念や強い苦痛を示すが高緊急でない高深刻度（high-acuity）、緊急の実世界支援を要する緊急時（emergencies）をカバーする
• 10の行動次元に分解: 総合スコアを専門家定義の10次元の行動別性能に分解でき、総合点が近いモデルでも強みの分布が異なり得るとしている。新しいモデルほど文脈の聞き取りが向上している傾向が見られると説明している（同社の分析による主張）
• 性能チャートについて: 公式ページにはプロバイダーごとの最新モデル比較チャートが掲載されているが、本文テキストから数値を裏取りできなかったため、本稿では数値を断定しない。詳細は一次情報の原文チャートを参照されたい

利用者44人の調査 — 専門家と利用者の視点の違いも分析

• 調査設計: AIをメンタルヘルス・情動支援に使った経験のある成人44人（16カ国・14言語）が、合成会話への応答を評価し「役立つ支援」の基準を記述。強い苦痛を伴う素材への曝露を避けるため非急性の会話に限定した
• 視点の違い: 利用者は実践的な次の手順や口調（tone）など、専門家ガイダンスでは相対的に軽視されがちな質を重視。一方、専門家は関連文脈の収集や曖昧な状況の慎重な解釈を重視した
• 位置づけ: 両者の一致・相違・補完を定量化するもので、最終スコア基準は専門家合意に基づき、この分析では変更していないとしている
• 関連施策: 危機時ヘルプラインの拡充、信頼できる連絡先（Trusted Contact）、ティーン向け保護（ChatGPT for Teens）、研究助成、Partnership on AIとの専門家招集、Transluceの独立評価支援などと並行する取り組みと説明している
• 免責の明記: ChatGPTはセラピーや専門ケアの代替ではないと明記している

出典

• Introducing MentalHealthBench - OpenAI