比較・活用
同じAIモデルでも費用5倍差 コーディングエージェントのハーネス選び方
AIコーディングエージェントを導入する際、多くの担当者はモデルの性能ばかりを比べがちです。しかし実際には、モデルを動かす「ハーネス」の選び方次第で、同じ精度でも支払う費用が何倍も変わることが調査でわかりました。
何が起きたか
カリフォルニア大学バークレー校とAIランキングサイト「Arena」の共同研究チームが、AIコーディングエージェントの費用と性能を比較する調査結果を公表しました。調査では7つのモデルと3つのハーネス（Claude Code、Codex CLI、Pi）を組み合わせた21通りを、ソフトウェア修正力を測る「SWE-bench Lite」とコマンドライン作業を評価する「Terminal-Bench 2.0」という2種類のベンチマークで検証しています。各組み合わせについて同じ30個のタスクを無作為に選び、3回ずつ試行した結果、ハーネスを変えてもタスクの成功率はほとんど変わらない一方、費用には最大5倍の差が生じることがわかりました。さらに、モデルの提供元が用意したハーネス（AnthropicのモデルとClaude Code、OpenAIのモデルとCodex CLIなど）を使っても、必ずしも最も高い成功率が得られるわけではないという結果も示されました。
背景・解説
ハーネスとは、AIモデルにどのツールを使わせるか、どんな情報をコンテキストとして渡すか、コマンドをどう実行させるかを管理する仕組みのことです。今回比較されたPiはread・write・edit・bashという4つのツールだけを備えたシンプルな構成で、Claude Codeは指示文が長く、ツールの仕様も平均で約7万7000文字に達する充実した構成になっています。7つのモデル全体で見ると、Claude Codeが最初にモデルへ渡す情報量はPiの10倍を超えていたといいます。例えばClaude Fable 5というモデルの場合、Claude Codeでは試行の97.8%を解決した一方、Pi・Codexでは96.7%の解決率でした。差はわずか1.1ポイントですが、費用はClaude CodeがPiの約2倍かかっています。研究チームはこうした「ほぼ同じ品質のためだけに余分な費用を払う状態」を「ハーネス税」と呼んでいます。オープンソースのPiが両ベンチマークで費用対効果に優れた組み合わせに入った点も、機能が豊富なハーネスほど有利とは限らないことを示す結果になりました。
仕事や業務への影響 — AI Topicaの見方
コーディングエージェントを導入する会社は、モデル選びと同じくらいハーネス選びに時間をかけるべきです。例えば、従業員80人のSaaS企業で開発チーム5人がClaude系のモデルを使ってコード修正を任せる場合、標準のClaude Codeをそのまま使い続けると、成功率の差が1〜2ポイント程度なのに月間のAPI費用だけが倍近くになる事態が起こります。同じ精度で済むなら、CodexやPiのようなハーネスに切り替えるだけで、月数万円単位のコスト差が生まれます。ベンチマークの結果は、モデルの提供元が用意した組み合わせが必ず最適というわけではないことも示しています。AnthropicのモデルにはClaude Code、OpenAIのモデルにはCodex CLIという「純正の組み合わせ」を無条件に選ぶ運用は見直すべきです。情シス担当者やエンジニアリングマネージャーは、自社の代表的なタスクを使って費用と成功率を実測し、ハーネスごとの費用対効果を比較する作業を導入前に組み込むべきです。機能が多いハーネスほど高性能だと考えるのは早計で、シンプルな構成でも十分な成果が出るケースがある点は覚えておく必要があります。
不確かな点・注意
今回の結果は2つの公開ベンチマークに限られており、モデルが学習の段階でこれらの問題に近い内容を見ていた可能性は否定できません。実際の開発現場で扱う独自コードやドメイン固有のタスクでは、機能が豊富なハーネスの方が有利になる場面もあるとされています。ハーネスの複雑さは機能の数だけで判断できるものではなく、用途ごとに費用と成功率を実測して評価する必要があります。最終的な総費用はコンテキスト量だけでなく、キャッシュの利用状況や生成トークン数、呼び出し回数などにも左右されるため、初期コンテキストの大小だけで費用を予測することはできません。