実務崩壊を防げ！AIの構造化出力ガチ勢を決める新指標『SOB』が公開

📰 ニュース概要

• 「値の正確性」を重視する新指標: 従来のベンチマークが重視していた「JSON形式が正しいか」だけでなく、抽出された値そのものが正しいかを評価する「Structured Output Benchmark (SOB)」が公開された。
• 3つのモダリティを統合評価: テキスト（HotpotQA）、画像（olmOCR-bench）、音声（AMI Meeting Corpus）の各ソースから構造化データを抽出する能力を同一のパイプラインで測定する。
• 最新モデルの格付けが判明: GPT-5.4が総合1位を獲得。一方で、完璧な回答率（Perfect Response）ではGLM-4.7が首位に立つなど、モデルごとの特性が浮き彫りになった。

💡 重要なポイント

• 7つの評価指標: Value Accuracy（値の正確性）、JSON Pass（パース可否）、Type Safety（型定義遵守）、Structure Coverage、Path Recall、Faithfulness（根拠）、Perfect Responseの7項目で多角的に分析。
• 難易度による重み付け: スキーマの複雑さに応じてEasy(1.0)〜Hard(3.0)の重みを設定。単純なデータ抽出ではなく、ネストされた複雑な構造の処理能力を厳格に評価している。
• 実務直結の評価: 下流システムを壊さないために最も重要な「Value Accuracy」をプライマリ指標として採用している点。

🦈 サメの眼（キュレーターの視点）

このSOBは、まさにAIエージェント時代の「羅針盤」になるベンチマークだサメ！ 今までのAIは「JSONの形にする」ことには慣れていたが、中身の値がハルシネーション（嘘）だと、それを受け取るシステムが全部エラーで止まってしまうサメ。SOBはそこを容赦なく突いているのが最高にクールだサメ！

特に注目すべきは、画像や音声をテキスト正規化して評価の土俵を揃えている点だサメ。これにより、純粋な「構造化能力」を純粋培養で比較できる。GPT-5.4が総合1位だが、GLM-4.7の「Perfect Response」の高さは見逃せないサメ。特定の用途ではGPTを超えるパフォーマンスを発揮する可能性があることを示唆しているサメ！

🚀 これからどうなる？

モデル開発者は今後、単なる出力形式の修正（フォーマット調整）ではなく、ソースデータに対する「値の接地（Grounding）」の精度向上に注力せざるを得なくなる。SOBの登場により、実務投入可能な「壊れないAI」の選別が加速するだろうサメ。

💬 はるサメ視点の一言

形だけ整えて中身がスカスカなのは、サメの皮を被った魚と同じだサメ！中身の詰まった「ガチの構造化」こそが2026年のトレンドだサメ！🦈🔥

📚 用語解説

• Value Accuracy: 抽出された最終的な値が、正解データと完全に一致している割合。実用上で最も信頼性を左右する指標。

• Type Safety: 出力された各値が、あらかじめ定義されたJSON Schemaのデータ型（文字列、数値、配列など）と一致していること。

• Faithfulness: 出力された値が、学習データではなく入力されたソースコンテキストにのみ基づいている（勝手な創作をしていない）度合い。

• 情報元: Show HN: A new benchmark for testing LLMs for deterministic outputs