GoogleOtherがGooglebotの15倍来ていた。IPまで照合したクローラーログ29日分

結論

筆者が運営している日本語サイトのアクセスログを29日分（2026年8月3日〜8月31日）集計したところ、GoogleOtherが10万9,551件、Googlebotが1万856件でした。ユーザーエージェント名をそのまま信じると、検索用ではないクローラーが検索用の10.1倍来ていることになります。

ここでIPアドレスを検証しました。Googleが公開しているクローラーのIP範囲と照合した結果は次のとおりです。

• GoogleOther: 43個のIPすべてが範囲内。偽装は1件もなし
• Googlebot: 27個のIPのうち2個が範囲外。この2つで2,984件、Googlebot名義のリクエストの**27.5%**を占める

偽装ぶんとIPが記録できていないぶんを除いて、本物同士で比べると GoogleOther 10万2,276件 対 Googlebot 6,959件、約14.7倍でした。UA名だけの比較より差が広がります。Googlebotを名乗るリクエストの4分の1が偽物だったからです。

Figure

29日間・1サイトの実測

109,551

GoogleOtherのリクエスト

43IPすべて範囲内

10,856

Googlebotのリクエスト

うち2,984件が範囲外

14.7倍

検証後の比

102,276 対 6,959

27.5%

Googlebot名義の偽装率

IPで判定

何を測ったか

• 対象: 筆者が別に運営している日本語サイト1件
• 期間: 2026年8月3日00:00〜8月31日23:59（日本時間、29日間）
• 記録: アプリケーション側でユーザーエージェント・パス・IPアドレスを保存したテーブル
• 除外: IPアドレスが記録されていない行（GoogleOther 7,275件、Googlebot 913件）は検証不能として、比率の計算から外しました

期間の端を月初・月末で切っているのは、ログが増え続けるためです。範囲を決めないと、同じ集計を翌日回したときに数字が変わります。

UA名は自己申告でしかない

Googleは、リクエストが本物のGoogleクローラーかを確かめる方法を2通り公開しています。

1. 逆引き: IPアドレスを逆引きして googlebot.com / google.com / googleusercontent.com のいずれかであることを確認し、そのホスト名を正引きして元のIPに戻ることを確認する
2. IP範囲との照合: Googleが公開しているJSONファイルのIP範囲に含まれるかを判定する

今回は逆引きが使えない環境だったため、2の方法を使いました。共通クローラー用のJSONを取得し、IPv4プレフィックス170件と照合しています（ファイルの生成時刻は2026年9月1日）。自動化するならこちらのほうが楽です。

Figure

IP照合の手順

1. 1

   1. ログからユニークIPを抜く

   UA名ごとに、期間内に出現したIPアドレスを重複なしで一覧化する

2. 2

   2. Google公開のJSONを取得

   共通クローラー用のIP範囲ファイルを落とす。生成時刻も一緒に記録しておく

3. 3

   3. 範囲に含まれるか判定

   各IPがプレフィックスのどれかに入るかを調べる。入らないものが騙り

4. 4

   4. 件数で影響を見る

   IP単位ではなくリクエスト件数で集計する。1つの騙りIPが大量に叩いていることがある

最後の手順が効きました。範囲外だったのは27個中2個ですが、そのうち1個が2,977件を叩いていて、これだけでGooglebot名義の27.4%を占めます。IPの個数で見ると「2個だけ」ですが、件数で見ると4分の1です。

GoogleOtherは何をしていたのか

Googleのドキュメントでは、GoogleOtherは各プロダクトチームが公開コンテンツを取得するために使う汎用クローラーと説明されています。社内の研究開発向けの単発クロールのような用途が挙げられており、GoogleOther というrobots.txtトークンで制御できます。検索インデックス用のクロール枠を使わないための分離です。

実際の挙動は、その説明よりかなり大きく、そして偏っていました。

Figure

GoogleOtherの日次リクエスト数（抜粋）

8月7日（初日）

306件

8月11日

4200件

8月16日

12847件

この時点で1日あたりGooglebotの14倍

8月23日

9812件

8月28日（ピーク）

13660件

8月30日

100件

3桁に急落

• 常時ではなくバースト: 8月3日〜6日は0件、8月7日に始まり、8月28日をピークに、8月29日以降は3桁に落ちました
• 同じページを何度も取る: 6,678のユニークパスに対して10万9,551リクエスト。1パスあたり平均16.4回です。トップページ1枚だけで8,104回取得されていました。新しいURLを見つけるための探索ではなく、既知のページの再取得です
• robots.txtを1回も取得していない: 同じ期間にGooglebotは1,661回取得しています。Googleは共通クローラーがrobots.txtに従うと明記しているので、取得結果をクローラー間で共有している可能性が高いのですが、それはこのログからは確認できません

海外の集計とは逆になった

2025年のクローラー集計では、Googlebotがすべての検索・AIボットを上回って最大というのが共通した結果でした。Cloudflareのネットワーク規模の集計でも、Search Engine Landが報じた同種のレポートでも、この結論です。

今回の1サイトでは逆でした。Googlebotは全クローラーの中で4番目で、検証後の件数はGoogleOtherの15分の1です。矛盾ではなく、規模が違う話を見ているのだと考えるのが妥当です。ネットワーク全体の集計は数百万サイトの平均で、1サイトのログは特定のサイトに何が起きたかです。GoogleOtherのバーストのような偏りは、平均を取ると消えます。

自分のサーバー負荷を語るときに必要なのは平均ではなく自分のログのほうです。この差は、そのまま「他人の統計で自分のクロール状況を語ってはいけない」という話になります。

この観測から言えること

• このサイトでは29日間、GoogleOtherがGooglebotの約15倍のリクエストを送っていた
• GoogleOtherを名乗るIPに偽装は1件もなく、全43IPが本物だった
• 逆にGooglebotを名乗るリクエストの27.5%は、GoogleのIP範囲外からだった

標本は1サイト、29日です。

やること／やらなくていいこと

Figure

クローラーログの扱い方

やること

• ✓UA名で集計したら、必ずIP範囲と照合してから数字を語る
• ✓IP単位ではなくリクエスト件数で偽装の影響を測る
• ✓GoogleOtherを拒否する前に、どのパスを取得しているかを見る
• ✓負荷が問題なら、robots.txtのGoogleOtherトークンで個別に制御できることを知っておく

やらなくていいこと

• ✕「Googlebotが最大のクローラー」という他社の集計を、自サイトの前提として使う
• ✕偽装Googlebotを本物として扱い、クロール量の分析に混ぜる
• ✕GoogleOtherの多さを検索評価のシグナルとして解釈する
• ✕アクセス増をすべてボットのせいにする前に、IP検証を飛ばす

手順

自分のサイトで同じことをするなら、必要なのはUA・パス・IPが残ったログだけです。

1. 期間を月初〜月末で固定し、UA別のリクエスト数・ユニークパス数・ユニークIP数を出す
2. Googleが公開している共通クローラーのIP範囲JSONを取得する
3. UAごとのユニークIPを範囲と照合し、範囲外のIPを特定する
4. 範囲外IPのリクエスト件数を合計し、全体に占める割合を出す
5. 偽装ぶんとIP未記録ぶんを除いた数字で、あらためてクローラー間を比較する

4番と5番を飛ばすと、今回のように「10倍」と「15倍」で数字が変わります。公開する数字は、検証を通したあとのものにしてください。

よくある質問

GoogleOtherは拒否してもいいのですか

robots.txtで GoogleOther を指定すれば個別に拒否できます。Googleのドキュメント上、これは検索インデックス用のクロールとは分離された枠なので、拒否しても検索結果への直接の影響は想定されていません。ただし用途が「各プロダクトチーム」と幅広く書かれているぶん、何を止めることになるかは事前には分かりません。サーバー負荷が実害になっている場合を除いて、まずはパス単位で何を取得しているかを見ることをすすめます。

偽装Googlebotはブロックすべきですか

IP範囲外からGooglebotを名乗っているリクエストは、Googleのクローラーではありません。今回のケースでは1つのIPが2,977件を叩いていました。中身がスクレイピングなのか他の用途なのかはログからは判別できませんが、少なくとも「Googlebotだからブロックできない」という理由は成立しません。判断はサイトごとですが、まず数えることが先です。

逆引きとIP範囲照合は、どちらを使うべきですか

Googleはどちらも公式の方法として案内しています。1件ずつ手で確かめるなら逆引き、ログ全体を機械的に処理するならIP範囲照合が向いています。今回は逆引きが使えない環境だったのでIP範囲を使いました。範囲ファイルは更新されるので、判定に使ったファイルの生成時刻を記録しておくと、あとで再現できます。

IPが記録されていない行はどう扱えばいいですか

今回はGoogleOtherで7,275件、Googlebotで913件がIP未記録でした。本物とも偽物とも判定できないので、比率の計算からは除外し、除外したこと自体を明示しています。これを本物側に足すか偽物側に足すかで結論が変わる場合は、その集計は結論を出せる状態にありません。