#サーバーログ

クローラーはsitemap順に見ていない。実ログ19万件で巡回の順番を解析した

自サイトのアクセスログ190,179リクエストを解析し、検索・AIクローラーが実際にどの順番でページを見ているかを検証しました。sitemap順との相関はほぼゼロ、代わりに「入口→URL種別ごとの一気読み→自前のキュー順」という3層構造が出ています。ClaudeBotとGPTBotが子サイトマップを1度も取っていないこと、散らかった2ディレクトリがbot全リクエストの35.8%を吸っていたことまで実数で示します。