ニュース
AIが生成した虚偽の軍事分析、米軍が中国船の臨検を寸前で回避
情報分析の現場でAIチャットボットを使う組織は、日本企業にも広がっています。今回明らかになった事例は、その出力を誰がどう確認するかという体制づくりの重要性を、極端な形で示しています。
何が起きたか
CNNの報道をもとに米メディアArs Technicaが伝えたところによると、米軍は「完全に虚偽」だったAI生成の情報分析に基づき、中国の船舶を臨検・拿捕する寸前まで動いていました。
この情報は、米特殊作戦司令部（US Special Operations Command）のアナリストが提出したものです。CNNが取材した「事情に詳しい4人の情報源」によると、その分析は、問題の中国船が核兵器開発計画に関連する部品を中東経由で輸送していると示唆する内容でした。
米軍はこの分析を受け、航空支援も伴う形で船舶の迎撃・乗船準備を進めていました。しかし、担当者が最終段階で、分析に使われたチャットボットが「船が運んでいた物資を誤って特定していた」ことを発見し、作戦は実行されませんでした。
情報源の1人はCNNに対し、この一件について「あわや戦争が始まるところだった」と語ったといいます。報道によれば、このアナリストはチャットボットを使い、船の積み荷目録に関する情報分析を行っていました。使われたチャットボットは、オープンソースの情報と政府が保有する機密の信号情報を組み合わせて分析結果を生成し、それが1本の情報レポートにまとめられていたということです。
背景・解説
「ハルシネーション」とは、AIチャットボットが学習データに十分な裏付けがない事柄について、事実であるかのように誤った内容をもっともらしく生成してしまう現象を指します。この語は2023年にCambridge Dictionaryの「今年の言葉」に選ばれるほど、AI活用が広がる中で知られるようになりました。
これまでにも、ノンフィクション作家や記者、研究者、裁判官、医師、警察機関、企業のコールセンターなどが、AIが作り出した誤った情報に基づいて判断を誤った事例が複数報告されています。「ハルシネーションを起こすな」という指示をAIに与える試みも行われてきましたが、一部の研究者は、大規模言語モデルからハルシネーションを完全に排除するのは難しいと指摘しています。
今回の一件は、こうした問題が国家の安全保障や軍事行動という、極めて重大な意思決定の場面にまで及んでいたことを示す事例です。米国防総省は今年1月、「あらゆる軍種・部門の任務システムを含む連携IT基盤全体でAI活用のためのデータを利用可能にする」ことを掲げた「AI加速戦略」を打ち出していました。
仕事や業務への影響 — AI Topicaの見方
情報の一次情報源をAIに任せる業務ほど、人間による事実確認の手順を制度として組み込む必要があります。今回の事例は軍事の極端なケースですが、構造としては、企業がAIの分析結果を鵜呑みにして重要な意思決定を下すリスクと変わりません。例えば、従業員50人規模の商社が取引先の与信審査や輸出管理のスクリーニングにAIチャットボットの要約を使っている場合、担当者1人の確認だけで最終判断まで進めてしまうと、誤った分析が契約や取引停止の決定に直結します。
AIが「オープンソース情報」と「社内の機密データ」のような性質の異なる情報源を1つの分析結果に融合させる場合、その融合の過程自体が誤りを生みやすくなります。人事評価データと外部の信用情報を組み合わせて採用可否をAIに判断させている企業も、同じ構造のリスクを抱えています。少なくとも、金額や取引先の可否、人の処遇に関わる分析については、AIの出力をそのまま最終判断に使うべきではありません。担当者以外の第二の目による確認を、判断の重さに応じて義務づける運用が必要です。専門部署を持たない中小企業であれば、外部データと突き合わせる項目だけでも人手で再確認する運用で十分です。
不確かな点・注意
この件はCNNの取材による報道が一次情報であり、Ars Technicaの記事もそれを引用する形で伝えています。船舶の名称や具体的な日時、使用されたAIチャットボットの名称や開発元など、詳細な情報は明らかにされていません。
米国防総省や米特殊作戦司令部からの公式な事実確認や声明についても、この記事の時点では言及がありません。作戦がどの段階まで進んでいたのか、誤りが発覚した具体的な経緯についても、報道内容以上の詳細はわかっていません。今後、公式な調査結果や追加の報道が出れば、事実関係がより明確になる可能性があります。読者としては、続報の有無を確認しておく価値があります。