解説
ARC-AGI-3とは何か、テスト条件次第でAIスコアが大きく変わる仕組み
AIモデルの性能比較でよく目にする「ベンチマークのスコア」は、実はテストの設定次第で大きく変わります。導入検討時にこの仕組みを知らないと、カタログ上の高得点と実際の使い勝手の間で大きな差に戸惑うことになりかねません。
何が起きたか
Google DeepMindの新しい主力モデル「Gemini 4 Argon」が、AIの汎用的な問題解決能力を測る「ARC-AGI-3」というベンチマークで97.5%のスコアを記録しました。これは開発元向けの機能を使う「Provider Adapter Harness」という条件での結果で、コストは4,800ドルでした。ARC Prizeの発表によると、Googleは95%の壁を越えた2社目のAI企業となり、OpenAIに次ぐ成績です。現時点で最高スコアはOpenAIの「GPT-6 Astra」の99.9%です。公開されている25種類のゲームでは、Gemini 4 ArgonとGPT-6 Astraはいずれも人間の平均より62%少ない操作回数でクリアし、3つのゲームでは最速記録に並ぶか上回りました。一方、ラウンド間の簡単なメモ機能だけを使う「Standard Harness」という条件でテストすると、Argonのスコアは49.8%まで下がり、コストも5,800ドルに増えました。
背景・解説
ARC-AGI-3は、AI研究者フランソワ・ショレ氏らの「ARC Prize」が公開するベンチマークで、人間には簡単でもAIには難しいパズル的な課題を使い、汎用的な問題解決能力を測る仕組みです。シリーズはversion1、2と続き、今回は最新のversion3が使われました。
結果を大きく左右するのが「ハーネス」と呼ばれるテスト条件です。「Provider Adapter Harness」は、前のやり取りの推論過程を保持する「Retained Reasoning」や、長い文脈を要約する「Compaction」といった開発元固有の機能を使える条件です。これに対し「Standard Harness」は、ラウンド間で簡単なメモしか引き継げない、より制約の多い条件になります。
この差が問題になったのは2026年7月、OpenAIの「GPT-5.6 Sol」がStandard Harnessでは7.8%しか取れなかった一方、自社の「Responses API」を使う条件では38.3%まで上がり、Anthropicの「Claude Opus 5」の30.2%を上回ったことがきっかけです。OpenAIは「ベンチマークは技術的な環境も測るものだ」と主張し、ARC Prize共同創業者のフランソワ・ショレ氏は、一般公開されているAPI設定の使用を認めました。
ArgonもStandard Harnessでは全55ゲームを完走できず、低推論設定で42ゲーム、中推論設定で46ゲームの完了にとどまり、最高推論設定ではスコア自体が公表されていません。研究機関Epoch AIが50以上のベンチマークを統合する「Epoch Capabilities Index」でも、Argonは165点とClaude Opus 5.5の167点、GPT-6 Astraの166点にわずかに及ばず、数学分野では8位、ソフトウェア開発分野では6位という評価です。
仕事や業務への影響 — AI Topicaの見方
ベンチマークの数字だけでAIモデルを選ぶと、実運用ではスコアが半分近くまで落ち込む場合があります。例えば、従業員50人の製造業で品質検査の自動チェックにAI導入を検討している情シス担当者が、比較サイトの「ARC-AGI-3で97.5%」という数字だけを根拠にGemini 4 Argonを選んだとします。自社システムが開発元固有の推論保持機能を使わない一般的な接続方法だった場合、Standard Harnessの49.8%に近い条件で動くことになり、期待した性能が出ません。評価の際は、スコアと合わせて「どのハーネスで測ったか」「1タスクあたりのコストはいくらか」を必ず確認すべきです。Standard Harnessの49.8%とProvider Adapter Harnessの97.5%の差は、ほぼ2倍に達します。コストも、同じArgonでStandard Harnessが5,800ドル、Provider Adapter Harnessが4,800ドルと逆転しており、見積もりの前提条件次第で数字は変わります。
業務領域によって得意不得意も分かれます。数学の計算や証明作業が中心の業務なら、Epoch AIの指標で8位にとどまるArgonより上位のモデルを優先的に検討する価値があります。一方、画像を使った検品作業や知識ベースの問い合わせ対応では、Argonがコストと処理速度のバランスで十分な選択肢になります。モデル選定の担当者は、自社の利用条件に近いハーネスで測られたスコアを基準にすべきです。
不確かな点・注意
ARC Prizeが「一般公開されているAPIの設定」をどこまで厳密に定義しているかは、出典からは判然としません。また、Argonの最高推論設定でのStandard Harnessスコアは19ゲームしか完了しなかったため、ARC Prize側から正式に公表されていません。Epoch AIのECIスコアは早期の推定値とされており、数学分野やソフトウェア開発分野の順位は今後変動する余地があります。コスト面についても、記事で示された金額は2026年時点の価格をもとにした試算であり、実際の契約条件によって変わる点には注意が必要です。