同じAIモデルでも費用5倍差 コーディングエージェントのハーネス選び方

カリフォルニア大学バークレー校とAIランキングサイト「Arena」の共同研究チームが、AIコーディングエージェントの費用と性能を比較する調査結果を公表しました。調査では7つのモデルと3つのハーネス（Claude Code、Codex CLI、Pi）を組み合わせた21通りを、ソフトウェア修正力を測る「SWE-bench Lite」とコマンドライン作業を評価する「Terminal-Bench 2.0」という2種類のベンチマークで検証しています。各組み合わせについて同じ30個のタスクを無作為に選び、3回ずつ試行した結果、ハーネスを変えてもタスクの成功率はほとんど変わらない一方、費用には最大5倍の差が生じることがわかりました。さらに、モデルの提供元が用意したハーネス（AnthropicのモデルとClaude Code、OpenAIのモデルとCodex CLIなど）を使っても、必ずしも最も高い成功率が得られるわけではないという結果も示されました。

ハーネスとは、AIモデルにどのツールを使わせるか、どんな情報をコンテキストとして渡すか、コマンドをどう実行させるかを管理する仕組みのことです。今回比較されたPiはread・write・edit・bashという4つのツールだけを備えたシンプルな構成で、Claude Codeは指示文が長く、ツールの仕様も平均で約7万7000文字に達する充実した構成になっています。7つのモデル全体で見ると、Claude Codeが最初にモデルへ渡す情報量はPiの10倍を超えていたといいます。例えばClaude Fable 5というモデルの場合、Claude Codeでは試行の97.8%を解決した一方、Pi・Codexでは96.7%の解決率でした。差はわずか1.1ポイントですが、費用はClaude CodeがPiの約2倍かかっています。研究チームはこうした「ほぼ同じ品質のためだけに余分な費用を払う状態」を「ハーネス税」と呼んでいます。オープンソースのPiが両ベンチマークで費用対効果に優れた組み合わせに入った点も、機能が豊富なハーネスほど有利とは限らないことを示す結果になりました。