AIエージェントの「再現性ギャップ」、IBMが24.4→12.0ポイントに圧縮

何が発表されたか

• IBM Research のチーム（Evelyn Duesterwald、Lilian Ngweta、Vatche Isahagian ほか）が2026年9月15日に Hugging Face Blog で公開
• AppWorld タスクにおいて、ReAct エージェントの平均成功率は 77.4% だが、5回すべて成功したタスクは 53.0%。この 24.4ポイントの差を「一貫性ギャップ」と定義
• 「Consistency Analyzer」は、記録済みの実行トレースの各ステップを再サンプリングして、結果が反転しやすい判断点（flip-prone）を特定する
• 必要なのはトレース1本のみで、正解データもタスクの再実行も不要。判断点ごとに1回のモデル呼び出しで複数の候補を出させる
• 改善後の数値は Pass^5 が 53.0% → 69.0%、Mean@5 が 77.4% → 81.0%、ギャップは 24.4 → 12.0ポイント。中難度タスクの伸びが最大（+22.9ポイント）
• ツールキット ALTK-Evolve はオープンソースとして GitHub で公開

開発者への影響

エージェントを業務に載せるときに毎回ぶつかる「デモは通るのに本番でたまに転ける」問題を、測り方の側から扱っている点が実用的だ。平均成功率77.4%という数字を見せられると十分に思えるが、5回連続で成功するのは53%という内訳が付くと印象がまったく変わる。クライアントへの期待値調整の話法として、Mean@k と Pass^k を併記する作法はそのまま借りられる。

もう1つ重要なのは、一貫性の問題が能力の問題と直交しているという指摘だ。失敗が出たときに反射的により賢いモデルへ乗り換えたくなるが、それでは解けない種類の失敗があるということになる。まずは同じ構成で複数回走らせ、どの判断点で結果が割れるかを見るほうが早い場合がある。

手法自体も軽い。正解データも環境の再現も不要で、トレース1本と判断点あたり1回のモデル呼び出しで済むため、既存のログを持っていればすぐ試せる。エージェントを組み込んだ社内ツールや受託案件で、納品前の品質確認手順として組み込む価値がある。

補足

評価対象は AppWorld という特定のベンチマークであり、業務ドメインの実タスクでどこまで再現するかは別途検証が必要だ。記事によれば、1本のトレースから生成した一貫性ガイドラインは関連タスクにも転移し、性能低下はわずかだったとされている。