解説
「兼用クローラー」とは何か Cloudflareが解いたAI学習拒否の壁
自社サイトをAIの学習に使われたくないけれど、検索から消えるのは困る――。そんな悩みを抱えるWeb担当者や広報担当者にとって、今回のCloudflareの発表は実務に直結する内容です。
何が起きたか
米Cloudflareは9月15日（現地時間）、Webサイト運営者が検索のためのクロールは許可したまま、同じクローラーによるAI学習だけを拒否できる新設定「AI学習の不許可」（Disallow AI Training）を発表しました。この設定は全プランの全顧客が利用できます[1]。
AppleとGoogleはこの設定にすでに対応しており、Microsoftも2027年初頭までに対応する方針を示しているといいます[1]。OpenAI、Anthropic、Meta、Amazonは検索用とAI学習用でクローラーを分けているため、この設定を使えば学習クローラーだけをブロックできます[1]。
Cloudflareはあわせて、クローラー運営者に対して透明性と説明責任を求める新区分「Accountable」も設けました。Apple、Google、Microsoftの3社は定められた基準を満たしている、またはその期限を示したためこの区分に認定されています[2]。Cloudflareのネットワーク上では、検索とAI学習を兼ねる「兼用クローラー」によるトラフィックが全体の36.6%を占め、最大のカテゴリーになっているといいます[2]。一方で、検索クローラーそのものを拒否しているサイトは1%未満にとどまり、17%がAI学習を制限しているとのことです[2]。
背景・解説
「兼用クローラー」（mixed-use crawler）とは、検索エンジンのインデックス作成とAIの学習データ収集を、同じ1つのクローラーでまとめて行う仕組みのことです。検索とAI開発の両方を手掛けるApple、Google、Microsoftなどがこの方式を採っています[1]。
これまでサイト運営者は、AI学習だけを止めたくても手段がありませんでした。兼用クローラーを丸ごと拒否すると、AI学習だけでなく検索のためのクロールまで止まってしまい、検索結果から消えるリスクを負うことになるためです[1]。逆に検索を優先すれば、意図しないままコンテンツがAI学習に使われ続けることになります。
この構造的な問題に対し、Cloudflareはクローラー運営各社と直接協議し、検索のためのクロールを維持したままAI学習だけを拒否できる仕組みを作りました。「AI学習の不許可」を選ぶと、Cloudflareがサイトのrobots.txtに学習を認めないルールを自動で記載し、対応する兼用クローラーは検索のためのクロールは続けつつ、収集した内容をAI学習には使わなくなります[1]。
これとあわせて導入された「Accountable」の認定基準は、①robots.txt等でAI学習の拒否を明示できること、②AIによる検索要約への掲載も拒否できること、③検索とAI学習それぞれの利用状況をURL単位で開示すること、④AI学習を拒否しても検索順位に影響しないと公言すること、の4項目です[2]。Cloudflareはこの基準に加えて、AIアクセスの意向を標準化された形で表明できる仕様「ai-prefs」の策定にも、IETFの場で参加しているといいます[2]。
仕事や業務への影響 — AI Topicaの見方
広告収入で運営するメディアや出版社は、この設定を早めに切り替えるべきです。検索経由の流入を維持しながらAI学習だけを止められる手段が、追加コストなしで使えるようになったからです。例えば、社員2人でオウンドメディアを運営し広告収入を主な収益源とするBtoB系の出版社なら、管理画面から設定を切り替えるだけで、検索順位を落とさずに記事本文がAI学習に使われる経路を絞れます。
一方で、Microsoftのクローラーへの対応は2027年初頭まで実現しません。それまでの間、Bing経由の学習を止めたい運営者は、ページのHTMLに「NOARCHIVE」タグを追加するといった個別対応が必要です[1]。数十ページ規模の小規模サイトなら手作業でも対応できますが、数千ページ規模のサイトを持つ企業は、対応漏れがないか一覧で管理する仕組みを情シス部門と共有しておくべきです。
AI要約への掲載可否は、事業者ごとに個別設定する現状が続きます。Cloudflareは来年初めまでに一括管理できるようにする方針を示していますが、それまでは各社の設定画面を個別に確認する運用で十分です[2]。
不確かな点・注意
Microsoftの兼用クローラーが実際にいつ対応を完了するかは、2027年初頭という見通しにとどまり、確定した日付は示されていません[1]。AppleとGoogleの兼用クローラーが「既に対応している」とされていますが、対応の範囲や検証方法の詳細は出典に記載がありません[1]。
Cloudflare以外のCDNやホスティングサービスを使うサイトで同様の設定が使えるかどうかは、出典からは分かりません。また、AI要約からのオプトアウトを一元管理できるようにするという方針についても、実現時期は「来年初め」という目標にとどまっており、確定していません[2]。兼用クローラーが全トラフィックの36.6%を占めるという数値や、検索拒否1%未満・AI学習制限17%という数値は、いずれもCloudflareのネットワーク上での観測値であり、Web全体の実態を示すものではない点にも注意が必要です[2]。