Topic

#Googlebot

「Googlebot」の記事は4本（2026/09/02〜2026/10/01）。最新は「robots.txtとsitemap.xmlの書き方。クロールさせるページを指定する方法」（2026/10/01）です。うち影響度「大」は2本。すべて一次情報のURLを記事末尾に添えています。

公開 2026.09.02/更新 2026.10.01

robots.txtとsitemap.xmlの書き方。クロールさせるページを指定する方法

robots.txtとsitemap.xmlの役割の違いと書き方をGoogle公式ドキュメントに沿って解説。クロール制御の手順とやらなくていい作業を整理します。

Googlebot・GoogleOther・GPTBot・PerplexityBotなど主要ボットの見分け方と、なりすましアクセスをIP・逆引きDNSで確認する手順を公式ドキュメントの記載だけで解説します。

同じサイトの英語版を、サブディレクトリとサブドメインで時期を変えて公開し、公開後6日間のGooglebotを比べました。ページ数でならしてもサブドメインは約4分の1、一度でも訪れたページの割合は約10分の1でした。

自分で運営するサイトのログ29日分で、GoogleOtherが10万9,551件、Googlebotが1万856件でした。Google公開のIP範囲と照合すると、GoogleOtherは43IPすべてが本物で、Googlebotを名乗るリクエストの27.5%は範囲外でした。