比較・活用
Claude Code・OpenCode・mini-SWE-agent比較、高機能なほど性能が良いは誤りと判明
コーディング向けAIエージェントの「ハーネス」選びで、高機能なものを選べば成果が上がると考えている担当者は多いはずです。実際には性能がほとんど変わらないまま、料金だけが数倍に膨らむケースがある、という検証結果が示されました。
何が起きたか
研究者のLiu氏とHan氏は、コーディング向けAIエージェントの「ハーネス」3種類を5つのモデルで組み合わせ、性能とコストを比較する検証を行いました。対象となったハーネスはClaude Code、OpenCode、mini-SWE-agentの3つで、モデルはQwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Previewです。参考としてClaude Opus 5もClaude Code上でのみ実行されています。
検証にはSWE-bench Verifiedから選んだ最難関45タスクと、さらに447タスクのプールが使われました。すべてオフラインで実施されており、これはネット接続を許した初期のテストでDeepSeekやQwenのモデルが71%の確率でGitHubから正解の修正を直接取得してしまったためだといいます。
結果として、最も機能が豊富なClaude Codeと最もシンプルなmini-SWE-agentは、447タスクのプールで2点未満の差しかなく、統計的に同等だったとされています。ハーネスによってトークン消費量は2〜3倍の開きがあるものの、タスクの通過率はほぼ変わりませんでした。唯一OpenCodeだけが大規模タスクプールで最大9点の差をつけて劣後しています。さらに、同じモデル・同じタスク・同じ料金体系でも、ハーネス次第で1タスクあたりのコストが最大3倍まで変動することも明らかになりました。
背景・解説
ハーネスとは、AIモデルに対してツールの使い方やシステムプロンプト、文脈の管理方法を与える枠組みのことです。Claude CodeやOpenCodeはファイル操作や検索の専用ツール、長いシステムプロンプト、履歴の自動圧縮機能を備えています。一方のmini-SWE-agentはBashツールだけを与え、文脈管理の機能を持たないシンプルな構成です。
これまでの比較研究では、ハーネス間に20点以上の差があると報告されることが珍しくありませんでした。しかし著者らによれば、そうした数値の多くは1回限りの実行結果に基づくもので、同一設定を再実行するだけでもSWE-bench Verifiedでは最大6点のブレが生じるといいます。例えばZhipu AIは自社ハーネスがClaude Codeに対して2.4点優位だと宣伝していますが、この差はノイズの範囲に収まってしまいます。
著者らの分析では、45タスクという少ないサンプルでは13点の差があっても検出できる確率は半分程度にとどまり、447タスクまで増やしてようやく5点程度の差を安定して検出できるようになるとしています。実際、再実行同士でもハーネスを入れ替えた場合でも、タスクごとの結果が入れ替わる割合はどちらも13%で同じでした。これに対しモデルそのものを入れ替えると22%まで上昇しており、ハーネスよりもモデル選びの方が結果を左右することが示されています。
仕事や業務への影響 — AI Topicaの見方
コーディングエージェントを業務に導入する際、ハーネスの機能の豊富さで選ぶ必要はありません。重要なのは性能ではなくコストの差であり、軽量なハーネスを選ぶ方が合理的な場面が多いといえます。
例えば、従業員50人のシステム開発会社でエンジニア10人がGLM-5.3-Flashモデルを使ったコーディングエージェントを月間1,000件のタスクに利用しているとします。出典によれば、同じモデル・同じタスクでもClaude Codeでは1件あたり1.81元かかるのに対し、OpenCodeなら0.56元で済みます。差額の1.25元を単純に試算すると月1,000件換算で1,250元ほどに達する計算になり、性能がほぼ変わらないのであれば、軽量なハーネスを選ぶ方が無駄なコストを抑えられます。
コスト差の正体はツールの出力量ではなく、毎回のやり取りで送り直されるシステムプロンプトとツール説明文の分量にあります。出典によれば、その分量はClaude Codeで約16,600トークン、OpenCodeで約7,000トークン、mini-SWE-agentでは1,000トークン未満だといいます。この固定費のような部分が、対応ステップ数の分だけ繰り返し課金される仕組みです。
一方で、唯一ハーネス選びが結果を左右した要素として「推論(thinking)」の有無があります。推論をオフにすると、mini-SWE-agentとQwen3.6の組み合わせでは11点下がり、HY4-PreviewをClaude Codeで動かした場合も11点下がったといいます。モデルによって推論への依存度が異なるため、導入前にはモデルとハーネスの相性を小規模に試す工程を入れるべきです。
不確かな点・注意
今回の検証は主にSWE-bench Verifiedという1つのベンチマークに依存しており、別のベンチマークであるTerminal-Bench 2.1では小規模な追試が行われたのみです。傾向は同じだったとされていますが、対象タスクの種類が変わった場合に同じ結論が成り立つかは明らかになっていません。
OpenCodeが劣後した原因についても、出力制限によるものが半分程度を占める一方、残り半分の原因は著者らも特定できていません。ローカルで動かしたモデルについては、OpenCodeの時間制限がClaude Codeより厳しかったことも報告されており、著者ら自身がこれを制御できていない変数として挙げています。推論の有無がもたらす影響についても、試されたモデルとハーネスの組み合わせが限られているため、なぜそうした差が生じるのかの説明には至っていません。導入を検討する際は、自社で使う具体的なモデルとタスクで小規模に再検証する手順を省略しないことが望ましいといえます。