日経225社のllms.txt設置率は5%、AIクローラー対応の実態を解説

生成AIの研修・コンサルティング・開発を手がける株式会社Uravationが、日経平均株価の構成銘柄225社の公式サイトを2026年10月23日に調査し、結果を公表しました。

調べたのは2つのファイルです。1つは、AIが読むためのサイト案内ファイル「llms.txt」の設置状況。もう1つは、「robots.txt」の中でAIクローラーの名前が具体的に書かれているかどうかです。

llms.txtについては、応答のあった180社のうち設置していたのは9社（5.0%）にとどまりました。153社は該当ファイルが存在せず、18社は別のHTMLページが返ってきたといいます。

robots.txtでAIクローラーの名前を記載していたのは、応答のあった184社のうち9社（4.9%）でした。残りの175社（95.1%）には記載がなく、ChatGPT・Claude・Perplexityの検索用ボットを全面拒否していた社は1社もありませんでした。調査は個社名を公表しない形で実施されています。

「robots.txt」は、検索エンジンなどのクローラーに対して、サイト内のどのページを読んでよいかを伝えるための、以前から使われてきた仕組みです。ここにAIクローラーの名前を書くかどうかで、各社がAIへの対応を意識しているかどうかがある程度見えてきます。

一方の「llms.txt」は、AIがサイトを読む際に参照する案内ファイルという、比較的新しい概念です。自社が何者で、どのページを読めば必要な情報にたどり着けるかをAI向けにまとめておく役割を持つとされています。

AIクローラーには大きく2つの種類があります。1つは、ChatGPTやClaudeなどのモデルを学習させるために使われるクローラー（GPTBot、ClaudeBot、Google-Extended、CCBotなど）。もう1つは、利用者がAI検索で質問した際にその場でサイトを読みに来るクローラー（OAI-SearchBot、Claude-SearchBot、PerplexityBotなど）です。両者を区別せずに一律で止めてしまうと、AI検索経由での流入まで失う恐れがあります。

今回の調査では、学習用クローラーのGPTBotを全面拒否していた社が1社、ClaudeBot・Google-Extended・CCBotをそれぞれ全面拒否していた社が1社ずつありました。一方、AI検索用のOAI-SearchBot・Claude-SearchBot・PerplexityBotについては、全面拒否は0社で、一部拒否が数社見られるにとどまっています。また、クローラー名が記載されていないサイトでは「すべてのクローラー向け」の規則が適用されますが、この規則で全面拒否としていた社も0社でした。