ニュース
Claudeへの「日記」投稿が脅迫発覚に、米女性逮捕 Anthropicは人間審査後に通報
AIチャットに書いた言葉は、思っているより他人の目に触れます。業務で生成AIを日常的に使う会社ほど、ログの扱い方を一度見直す必要があります。
何が起きたか
米国で、対話型AI「Claude」を日記代わりに使っていた女性が逮捕されました。女性はClaudeとのやり取りの中で、銃撃の脅迫を記していたといいます。この内容について、開発元のAnthropicは人間による審査を経たうえで通報したことが伝えられました。
報じられているのは、「女性が逮捕された」「脅迫の内容が記録されていた」「Anthropicが人間の審査後に通報した」という事実関係にとどまります。逮捕の時期や場所、具体的な審査の手順、通報先となった機関の詳細までは明らかにされていません。それでも、AIチャットに書き込んだ内容が人の目で確認され、外部機関への通報につながった事例として扱われている点は変わりません。
背景・解説
AIチャットの「利用ログ」とは、ユーザーが入力した文章やAIからの応答を記録したデータのことです。多くの生成AIサービスは、サービス改善や不正利用防止のために、こうしたログを一定期間保存しています。
今回のケースで押さえておきたいのは、ログの確認が自動フィルターだけで完結していなかった点です。Anthropicは人間による審査を経たうえで通報に踏み切ったとされており、AIが自動検知した内容を最終的に人が判断し、必要と認めた場合に警察など外部へ連絡する運用があったことがうかがえます。
生成AI各社は、暴力の予告や自傷・他害のおそれがある内容について、何らかの形でモニタリングや通報の仕組みを設けているとされています。ただし、どのような基準でAIが自動検知し、どのような場合に人間が介入し、どの機関に通報するのかという具体的な運用ルールは、企業ごとに非公開の部分が多いのが実情です。
仕事や業務への影響 — AI Topicaの見方
経営者や管理職は、社員が業務用AIチャットに書き込む内容を「完全に秘匿されたメモ」だと思い込ませないほうが安全です。今回伝えられているのは個人利用の事例ですが、業務でAIチャットを使う場合も、入力した内容がサービス提供事業者側で保存され、一定の条件で人間に確認される構造は変わりません。
例えば、従業員30人程度の人事部門がある会社で、評価面談のメモや退職希望者とのやり取りの下書きを生成AIチャットに貼り付けて要約させている場合、そこに含まれる個人情報や機微な内容がどこまで保存され、誰が確認し得るのかを、担当者が契約前に把握しておく必要があります。社内規定で「生成AIへの入力禁止情報」を定めている会社でも、禁止対象に「脅迫表現」や「違法行為の予告」のような極端なケースまで含めているとは限りません。
管理職がすべきことは明確です。まず、利用している生成AIサービスの利用規約やプライバシーポリシーで、ログの保存期間と、不審な内容を検知した場合の対応方針を確認します。次に、社員向けの利用ガイドラインに「入力した内容は完全に非公開ではない」という一文を明記します。さらに、顧客の個人情報や社内の機密情報を貼り付ける前に、匿名化や要約済みデータへの置き換えを徹底する運用にします。これだけで、思わぬ情報流出や誤解を招く記録の残存を大きく減らせます。
逆に言えば、通常業務での議事録作成や資料のたたき台作りといった用途であれば、過度に恐れる必要はありません。暴力や違法行為に関わる内容を入力しない限り、今回のような通報事例に直結する心配は小さいといえます。重要なのは、AIチャットを「独り言を言える場所」ではなく、「記録が残り、場合によっては人に読まれる場所」として扱う意識を社内に根付かせることです。
不確かな点・注意
出典で明らかになっているのは、「米国で女性が逮捕された」「Claudeを日記として使っていた」「銃撃の脅迫を記していた」「Anthropicが人間の審査後に通報した」という骨子にとどまります。逮捕の具体的な日時や場所、起訴内容、裁判の見通しなどは示されていません。
また、Anthropicがどのような基準で自動検知を行い、どの段階で人間が審査に入り、どの機関にどのような形で通報したのかという運用の詳細も公表されていません。他の生成AIサービスが同種の体制を持っているかどうか、持っている場合に基準がAnthropicと同じかどうかも、この事例だけでは判断できません。
日本国内での生成AI利用に、米国と同様の通報運用がそのまま当てはまるとは限りません。各サービスの利用規約や、日本の法制度・捜査協力の枠組みは異なるため、自社が利用しているサービスの規約を個別に確認することが欠かせません。