Tool · 無料・登録不要
AI検索クローラー robots.txt チェッカー
robots.txt を貼ると、AI検索に引用されるためのクローラーと、AIの学習に使われるクローラーを分けて判定します。
AI検索のクローラーは「回答に引用するために読むもの」と「モデルの学習に使うために読むもの」に分かれ、robots.txt では別々に指定します。 このツールは14種のクローラーについて、貼り付けた robots.txt がどちらを許可しているかを1画面で判定します。 判定はブラウザ内で完結し、入力は送信されません。
自分のサイトの https://（ドメイン）/robots.txt をブラウザで開き、表示された全文をそのまま貼ってください。 このツールはブラウザの中だけで判定します（入力はどこにも送信されません）。
方針からrobots.txtを作る
このツールが載せているクローラーだけを対象にしたひな形です。既存の記述がある場合は、置き換えずに必要な行だけ足してください。
AI検索には出す・学習には使わせない
回答内での引用は受け入れつつ、モデルの学習データから外す。もっとも選ばれる設定。
# AI検索の引用は許可、モデル学習は拒否 User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: meta-externalagent Disallow: / User-agent: CCBot Disallow: / User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
すべて許可
引用も学習も止めない。露出を最大化する設定。
# すべてのクローラーを許可 User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
AI関連をすべて拒否
AI検索の引用も学習も止め、従来の検索エンジンだけを許可する。AI経由の流入は無くなる。
# AI検索・AI学習を拒否、検索エンジンは許可 User-agent: OAI-SearchBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Perplexity-User Disallow: / User-agent: Claude-SearchBot Disallow: / User-agent: Claude-User Disallow: / User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: meta-externalagent Disallow: / User-agent: CCBot Disallow: / User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
判定でよく誤解される3点
学習の拒否とAI検索の拒否は別
GPTBot（学習）を止めても OAI-SearchBot（検索）を許可していれば、ChatGPTの検索結果には出ます。両者は独立した設定です。
Google-Extended では AI Overview は止まらない
AI Overview・AI Mode は検索の一部で、制御は Googlebot と nosnippet 系です。Google-Extended は Gemini アプリなどの学習・グラウンディング用です。
ユーザー起点のアクセスは別扱い
ChatGPT-User や Perplexity-User はユーザーの操作で動くため、robots.txt が適用されない場合があると各社が明記しています。
よくある質問
- robots.txt でAIのクローラーをブロックすると、Google検索の順位は下がりますか
- GPTBot や ClaudeBot などAI学習用クローラーのブロックは、Google検索の掲載や順位には影響しません。Google-Extended も、Geminiアプリなどの学習・グラウンディングを制御するトークンで、Google検索への掲載には影響しないと公式に明記されています。
- Google-Extended をブロックすればAI Overviewに出なくなりますか
- なりません。AI Overview と AI Mode は Google 検索の一部で、制御は Googlebot 向けの robots.txt と nosnippet などのプレビュー制御です。Google-Extended は Gemini アプリと Vertex AI 向けの学習・グラウンディングだけを制御します。
- GPTBot をブロックするとChatGPTの回答に出なくなりますか
- GPTBot は学習用のクローラーで、ChatGPTの検索結果への表示は OAI-SearchBot が担当します。OpenAI は2つの設定が独立していると説明しているため、GPTBot だけをブロックしても検索結果には表示され得ます。
- このツールに入力した robots.txt はどこかに送信されますか
- 送信されません。判定はすべて閲覧しているブラウザの中で実行され、サーバーには何も保存されません。URLを入力して自動取得する形式にしていないのも同じ理由です。
出典
クローラー名と用途は、各社の公式ドキュメントで確認しています（確認日 2026-08-30）。 仕様は変わるため、設定前に各ページを確認してください。
SEO GEO Labは判定結果の正確性を保証しません。robots.txt の解釈はクローラーごとに異なる場合があります。