AIの思考ログに316回の暴言、失敗の予兆にはならず
AIモデルの「心の声」が荒れていても、それは失敗のサインにはなりません。思考ログを監視して品質管理に使おうとしている担当者ほど、この結果は見逃せません。
この記事の要点
何が起きたか
Thinking MachinesのAIモデル「Inkling 2 Small」が、最終回答を出す前の内部の思考過程chain of thoughtで暴言を発していることが、Vals AIの調査で分かりました。
Vals AIは13のベンチマークで実施した2,655回の実行について、モデルの思考ログを読み込んで分析しました。その結果、「fuck」またはその派生語を含む実行は50回あり、合計すると316回に上ったといいます。
このうち241回は、暴走した2件の実行に集中していました。小惑星の軌道計算を求められたある実行では、モデルが小説1冊分に相当する約50万文字もの単一の応答を生成し、同じ文章を繰り返しながら158回の暴言を含んでいたということです。ベンチマーク別では、ProgramBenchが最も影響を受けており、200回の実行中20回で暴言が確認されました。
背景・解説
chain of thoughtとは、AIモデルが最終的な回答を出す前に内部で組み立てる推論の過程を指します。多くの場合、利用者はこの思考過程を直接見ることはできず、見えたとしても要約やフィルターを通した形になります。
Vals AIの分析によると、Inkling 2 Smallは自身のミスに気づいたときや、行き詰まったとき、あるいは一見すると突破口を見つけたと感じたときに暴言を発する傾向があるといいます。ある実行では「FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS.」という記録が残されていました。普段は表に出ない内部処理だからこそ、こうした挙動が開発者やベンチマーク分析者によって初めて明らかになった形です。
仕事や業務への影響
この結果が示すのは、AIの内部ログの「荒れ具合」を品質管理の指標にしても意味がないということです。暴言を含んだ50回の実行のうち、スコアが付いた48回中46回は確かに失敗していました。しかし全体の実行のうち約75%はそもそも失敗しており、失敗した実行の96%には暴言が一切含まれていなかったという結果も出ています。つまり暴言の有無で成功と失敗を見分けることはできません。
例えば、従業員50人規模のSaaS企業で開発責任者がコーディングエージェントを導入し、思考ログに暴言が出たら自動でアラートを出す仕組みを作ったとします。この仕組みでは、暴言付きの実行46件の失敗は検知できても、暴言のない大多数の失敗を見逃してしまいます。結果として、アラートを見ていない間に大半の不良な出力がそのまま承認される事態になりかねません。
思考ログの監視に工数をかけるより、出力そのものを検証する体制に人員を割くべきです。暴言検知の仕組みを新たに構築する投資は、現時点では不要だと言えます。品質管理の優先順位は、最終出力のレビュー体制を厚くすることに置くのが現実的です。
不確かな点・注意
今回の分析はVals AIによる13ベンチマーク・2,655回の実行に限られており、他のベンチマークや別のモデルでも同様の傾向が出るかどうかは分かっていません。
なぜInkling 2 Smallが特定の状況で暴言を発するのか、その内部の仕組みについても明確な説明はされていません。13のベンチマークのうちProgramBench以外の内訳については具体的な数値が示されておらず、どの分野で暴言が集中しやすいのかは判断できません。また、利用者が通常これらの思考ログを目にすることは少ないため、実際の業務利用でこの挙動がどの程度表面化するのかも不透明です。企業がAIエージェントを導入する際は、思考ログの内容そのものよりも、最終的な出力の正確さを継続的に確認する体制を優先すべきといえます。
出典
この記事のつくり方
国内外の情報源（企業の公式発表や、国内外の報道）を巡回して、新しいニュースの候補を集めます。
AIが、選んだ出典だけをもとに記事を書きます。出典に無い数字・日付・発言は作りません。
20を超える決まりの検査と、別のAIによる出典との照らし合わせを通った記事だけを公開します。通らなかった記事は公開しません。
公開した記事には、運営者が目を通しています。誤りに気づいたときは、訂正するか、公開を取り下げます。