開発部門のAI導入判断、ベンチマーク99%より実務26%を見るべき理由

アリババと複数のアジアの大学の研究者が、実際のユーザーからの変更依頼を基にした新しいベンチマーク「Co-Design Bench」を開発しました。対象となるのは、画像や音声、動画、文書などを入力に使いながら既存のウェブアプリを改修する作業です。

10種類のモデルを比較した結果、最も成績の良かった「GPT-6 Astra」でも、依頼内容の要件を平均で約70%満たすにとどまり、完全に正しく仕上げられたタスクは全体の26.4%でした。多くの場合、エージェントは作業の大部分をこなしても、少なくとも1つの細部を未完成のまま残し、利用者が手作業で仕上げる必要がありました。

2位以下は「Claude Opus 5」「Qwen3.8-Max」が続き、「Grok 4.6」は最下位でした。大規模な改修タスクに限ると、小型モデルの「Qwen3.8-27B」が2位に浮上する場面もありましたが、研究チームはこの結果からモデルの優劣を一般化できないとしています。

コーディングエージェントとは、人の指示を受けてプログラムの読み書きと実行を自律的にこなすAIの仕組みを指します。従来のベンチマークの多くは、モデル自身がコードを実行・検証・修正できる環境で採点されるため、スコアが99%を超えるケースが相次ぎ、モデル間の差がほとんど見えなくなっていました。

研究チームはこの状況を問題視し、実際のコーディング作業で利用者が依頼内容を何度も言い換えたり、変更を取り消したりした事例を中心にテストを設計しました。採点も二段階で、AIがブラウザ上で実際に動作するかを確認したうえで、別のAIが見せかけの実装やハードコードされた結果を見逃していないか再チェックする仕組みです。

同じモデル（Qwen3.8-27B）でも、コードを読み書き・実行する作業環境を変えると、大規模な改修タスクでスコアが75%から56%まで変動した例もありました。モデル単体の評価だけでは実力を測れないと研究チームは指摘しています。