llms.txtは29日間で一度もAIクローラーに読まれなかった。実ログ1万9,347件の記録

結論

筆者が運営している日本語サイトのアクセスログを29日分（2026年8月3日〜8月31日）集計したところ、AI検索・AI学習系クローラー8種からの1万9,347件のリクエストのうち、/llms.txt を取得したものは0件でした。

このサイトは /llms.txt を実際に配信しています。「置いていないから取りに来なかった」のではありません。置いてあるファイルに、29日間、どのAIクローラーも一度も触れませんでした。

同じ期間に /llms.txt は7回取得されていますが、7回とも通常のブラウザのユーザーエージェント（Chrome / Firefox）です。人間かブラウザ拡張が見に来た記録であって、AI事業者のクローラーではありません。

一方で、同じルート直下にある /robots.txt は OAI-SearchBot が132回、ClaudeBot が76回、Applebot が59回、PerplexityBot が24回取得しています。ルート直下の設定ファイルを取りに来る挙動そのものは存在するのに、llms.txt だけが素通りされている、という観測です。

Figure

29日間・1サイトの実測

19,347

AI系クローラーの総リクエスト

8種の合計

0

llms.txtの取得

AI系クローラーによるもの

7

llms.txtの取得

すべて通常ブラウザのUA

292

robots.txtの取得

AI系クローラーによるもの

何を測ったか

対象は筆者が別に運営している日本語サイト1件です。アプリケーション側でリクエストのユーザーエージェント・パス・IPアドレスを記録しており、そのテーブルを集計しました。

• 期間: 2026年8月3日00:00〜8月31日23:59（日本時間、29日間）
• 対象: ユーザーエージェントから識別できたクローラーのうち、AI検索・AI学習用途のもの8種
• 数え方: パスが /llms.txt に完全一致するリクエストを数える

CDNやWAFを経由せずアプリケーションに届いたリクエストを記録しているため、ブロックされて到達しなかったアクセスは含みません。ただしこのサイトはAIクローラーをブロックしていないので、「拒否したから来なかった」ではありません。

クローラー別の内訳

Figure

AI系クローラーのリクエスト数（29日間）

OAI-SearchBot

8391件

robots.txt 132回

PerplexityBot

2576件

robots.txt 24回

ClaudeBot

2302件

robots.txt 76回

meta-externalagent

2030件

robots.txt 0回

GPTBot

1614件

robots.txt 0回

ChatGPT-User

1599件

robots.txt 1回

Amazonbot

551件

robots.txt 0回

Applebot

284件

robots.txt 59回

ここで目立つのは、GPTBot・meta-externalagent・Amazonbot が期間中 robots.txt すら取得していない点です。robots.txt は取得結果がキャッシュされるため、29日間まったく取りに来ないこと自体は「無視している」証拠にはなりません。ただ、robots.txt を取りに来たクローラー（OAI-SearchBot・ClaudeBot・PerplexityBot・Applebot）でさえ、llms.txt は一度も取りに来なかったという対比は残ります。

公式ドキュメントは何と言っているか

この観測結果は、AI事業者・検索エンジン側の説明と矛盾しません。

Googleは、AI OverviewsやAI Modeに表示されるために機械可読ファイルやAI用のテキストファイル、マークアップを新しく作る必要はないと明記しています。追加の要件や特別な最適化は不要、という書き方です。llms.txt を名指しはしていませんが、「AI向けの新しいファイルを作れ」という主張は公式には存在しません。

OpenAIがクローラーについて公開しているドキュメントも、書かれているのはユーザーエージェント名と robots.txt での許可・拒否の方法だけです。llms.txt を読む、参照する、推奨する、といった記述はありません。

GoogleのJohn Muellerは、llms.txt について「誰にも分からない、現時点では完全に推測の域」という趣旨の発言をしています。ファイル自体は以前から存在するのに、どのAIシステムもそれを使っていない、という指摘です。

普及率のほうは伸びています。Rankabilityの計測では、上位1,000サイトのうち8.7%が llms.txt を設置しています（2026年8月23日更新時点）。ただし同社も、自社のクローラーがファイルの有無を確認しているだけで、実際のAIアシスタントが取得しているかは測っていない、と限界を明示しています。設置率は測られているが、消費されているかは誰も測っていなかった——今回の集計はその空白を、1サイト分だけ埋めるものです。

この観測から言えること

言えることは1つだけです。このサイトでは、この29日間、AI系クローラーが llms.txt を取得しなかった。 存在するファイルが素通りされた、という事実の記録です。標本は1サイト、期間は29日です。

つまり「置くと損をする」ではなく、「置いたことをAIクローラーの取得で確認できた事実はゼロだった」という話です。

手順

同じことは自分のサイトでも確認できます。アクセスログさえあれば10分です。

Figure

自分のサイトで確認する手順

1. 1

   1. 期間を固定する

   月初〜月末など、日付の端が切れない範囲を決める。ログは増え続けるので範囲を決めないと数字が動く

2. 2

   2. llms.txtを数える

   パスが /llms.txt のリクエストを、ユーザーエージェント別に集計する

3. 3

   3. robots.txtも数える

   同じ期間・同じ集計で比較する。こちらが0なら、ログ側の取りこぼしを疑う

4. 4

   4. UAではなくIPで裏を取る

   件数が多いときは、事業者が公開しているIP範囲と照合して偽装を除く

3番目が要点です。llms.txt が0件でも、robots.txt が取得されていれば「ログは正しく記録できている」と言えます。両方0なら、それは計測の失敗です。

やること／やらなくていいこと

Figure

llms.txtへの向き合い方

やること

• ✓robots.txtでAIクローラーの許可・拒否を明示する（これは実際に取得されている）
• ✓置くなら人間向けの索引として置く。設置コストは低く、害もない
• ✓自分のログで、自サイトのllms.txtが取得されているかを月1回数える
• ✓AI向けの施策を評価するときは、ログでクローラーの実挙動を先に見る

やらなくていいこと

• ✕llms.txtの設置をAI検索対策の中心に据える
• ✕「llms.txtを置けばAIに引用される」と説明する（一次情報に根拠がない）
• ✕llms.txtの整備に時間をかけて、robots.txtの設定を後回しにする
• ✕設置率の統計を、消費されている証拠として引用する

よくある質問

llms.txtは置かないほうがいいのですか

置いて損をする理由は見つかっていません。今回のログにも、設置による悪影響は現れていません。問題は費用対効果です。29日間どのAIクローラーも取得しなかったファイルの整備に工数を割くより、robots.txtでAIクローラーの許可・拒否を明示するほうが、実際に取得されている分だけ確実です。

AIクローラーが取得していないのに、AIが自分のサイトを引用することはありますか

あります。今回のログでも、OAI-SearchBotは29日間で8,391件、ページ本体を取得しています。AIが参照しているのはこちらの経路です。llms.txtが読まれていないことと、サイトがAIに読まれていないことは別の話です。

robots.txtを取得していないクローラーは、robots.txtを無視しているということですか

このログだけでは判断できません。robots.txtの取得結果は一定期間キャッシュされるのが一般的で、29日間取りに来ないこともあり得ます。無視の有無を確かめるには、拒否したパスへのアクセスが続くかどうかを見る必要があり、それは今回の集計範囲外です。

標本1サイトの結果をどこまで信じてよいですか

「このサイトではこうだった」という存在証明としてだけ使ってください。比率や一般論には使えません。ただし手順は3ステップなので、自分のログで同じ数字を出すほうが早いはずです。自分のサイトの数字が、他人の統計より優先されます。