ChatGPTの「AI順位」は毎回変わる。GEOの可視性を正しく測る反復計測の方法

結論

ChatGPTに「おすすめの会社は？」と1回聞き、自社が3番目に出たからAI順位3位と報告してはいけません。同じ質問でも、回答に出る会社、順番、社数は毎回変わるからです。

GEOで測るべきなのは1回の順位ではなく、同じ条件で反復した回答のうち、自社が何回出たかという出現率です。さらに「名前が出た」「おすすめされた」「自社URLが引用された」を分けます。比較するのは今日と昨日ではなく、2〜4週間の期間どうしです。

Figure

SEO順位とAI可視性は、測る単位が違う

検索順位

• 1つのクエリに順位がある
• 同じ条件なら比較的再現しやすい
• 順位・クリック・表示回数で追う

AI可視性

• 回答ごとに候補と順番が変わる
• 1回の結果は代表値にならない
• 反復した回答での出現率を追う

なぜ1回の「AI順位」は信用できないのか

SparkToroとGumshoe.aiは、600人に12種類のプロンプトをChatGPT、Claude、GoogleのAI検索で実行してもらい、合計2,961件の回答を集めました。それぞれの質問は60〜100回繰り返されています。

結果は、ChatGPTまたはGoogle AIが同じブランド一覧を2回出す確率は100回に1回未満、一覧と順番の両方が一致する確率は1,000回に1回未満でした。変わったのは順番だけではありません。2〜3社だけ挙げる回答もあれば、10社以上挙げる回答もありました。

ただし、この調査は「AI可視性は測れない」と結論づけていません。個々の順位は不安定でも、何十回、何百回と実行したときに特定の会社が出る割合には差があったからです。ある病院は71回答中69回答に登場しましたが、最初に挙げられたのは25回答だけでした。順位と出現しやすさは別の指標です。

Figure

ブランド推薦を反復したSparkToro調査

600人

調査参加者

2,961件

集めたAI回答

60〜100回

各プロンプトの反復回数

1%未満

同じブランド一覧が再現する確率

ChatGPT・Google AI

研究側からも同じ問題が報告されています。ザンクトガレン大学の研究チームは、AI検索の回答は実行、プロンプト、時間によって変わるため、可視性を1点ではなく分布として扱う必要があると述べています。したがって「今月は2位、先月は4位」という表は、精密そうに見えても回答の偶然を比べている可能性があります。

測る指標は4つに分ける

「AIに出た」を1列で数えると、引用されたのか、単に名前が出たのかが分かりません。最低でも次の4つを分けてください。

指標	数え方	分かること
ブランド出現率	自社名が出た回答数 ÷ 全回答数	AIの候補集合に入りやすいか
推薦率	おすすめ・候補として出た回答数 ÷ 全回答数	選択肢として提示されるか
URL引用率	自社URLが出典になった回答数 ÷ 全回答数	自社ページが根拠に使われたか
上位出現率	最初の3社に入った回答数 ÷ 全回答数	回答の前半に出やすいか

主指標はブランド出現率かURL引用率にします。平均順位は、回答に出た社数が毎回違うため補助指標にとどめます。出なかった回答を除外して平均順位を計算すると、露出が少ない会社ほど実態より良く見える点にも注意が必要です。

反復計測の手順

1. 事業判断につながるプロンプトを決める

最初は20〜30本で十分です。「勤怠管理システム」のような単語ではなく、実際の顧客が相談する文にします。

• 定義：「建設業向けの勤怠管理システムとは」
• 比較：「従業員30人の建設会社に合う勤怠管理システムを比較して」
• 推薦：「現場からスマホで打刻できる勤怠管理システムを教えて」
• 判断：「紙のタイムカードから切り替えるべきか」

営業の商談メモ、問い合わせ、Search Consoleの長いクエリを材料にしてください。言い回しを大量に水増しするより、異なる検索意図をそろえる方が先です。

2. 比較条件を固定する

最低限、プロンプト全文、AIサービス、モデル名、ウェブ検索の有無、実行日時、地域・言語、ログイン状態を保存します。モデル更新や検索の有無が混ざると、ページ改善の効果と環境変化を分けられません。

APIで自動化する場合も、一般ユーザー向け画面と同じ結果になるとは限りません。APIの数字はAPI内の時系列比較に使い、ブラウザでの結果と混ぜないでください。

3. 同じプロンプトを反復する

SparkToroの調査は各質問を60〜100回実行しました。一方で、すべての企業が毎週そこまで実行するのは現実的ではありません。まずは同じ条件で複数回実行し、回数と期間を変えずに継続します。少ない標本から小数点以下の差を読まないことが重要です。

Figure

GEO可視性を比較できる記録にする

1. 1

   重要プロンプトを20〜30本決める

   定義・比較・推薦・判断に分ける

2. 2

   モデルと検索条件を固定する

   実行日時と環境も保存する

3. 3

   各プロンプトを複数回実行する

   回答と引用URLをそのまま残す

4. 4

   出現・推薦・引用を別々に集計する

5. 5

   2〜4週間の期間どうしで比べる

   1回ごとの上下には反応しない

4. 割合と分母を一緒に報告する

「可視性40%」だけでは足りません。「50回答中20回答」のように分母を添えます。プロンプト別の結果に加え、比較・推薦など意図ごとの集計も出すと、どの検討段階で候補から外れているか分かります。

5. 施策の前後を期間で比べる

ページを直した翌日に結果が落ちても戻さないでください。修正前2〜4週間と修正後2〜4週間を同じ設計で計測します。期間中にモデルが変わった場合は注記し、施策の効果と断定しません。

影響を受けるページ・クエリ

反復計測が特に必要なのは、商品・サービスの比較、おすすめ、候補選びのプロンプトです。回答に含められる会社数が一定せず、候補の順番も変わるためです。

対象ページは、カテゴリページ、比較ページ、導入事例、料金ページ、第三者レビューです。一方、「会社の電話番号は」のような事実確認は、ブランド推薦ほど順位を追う意味がありません。URLが正しく引用されるか、情報が正確かを確認します。

日本のBtoBサイトなら、全サービスを一緒に集計せず、製品カテゴリと顧客規模を分けます。「勤怠管理」「経費精算」「給与計算」を混ぜた可視性スコアでは、どこを直すべきか判断できません。

やること／やらなくていいこと

Figure

AI可視性の計測で判断を誤らないための線引き

やること

• ✓同じプロンプトを同じ条件で反復する
• ✓順位より、回答に出た割合とURL引用率を追う
• ✓プロンプト・モデル・日時・検索の有無を保存する
• ✓割合には回答数を併記し、期間どうしで比較する

やらなくていいこと

• ✕1回の回答をAI順位として報告する
• ✕出なかった回答を除いて平均順位を計算する
• ✕ブラウザとAPI、異なるモデルの結果を同じ系列に混ぜる
• ✕数日の上下だけで記事を戻したり書き換えたりする

よくある質問

何回繰り返せば十分ですか

すべての業種に共通する確定値はありません。候補となるブランド数によって回答の揺れが変わるためです。SparkToroは調査で1プロンプトを60〜100回実行しています。実務では継続できる回数を決め、分母を必ず表示し、小さな差を成果と断定しない運用から始めてください。

平均順位は使えませんか

補助指標にはできますが、主指標には向きません。回答ごとに掲載社数が変わり、出現しなかった回の扱いでも数字が大きく変わります。まず出現率とURL引用率を見て、その内訳として上位出現率を確認してください。

プロンプトの言い換えも測るべきですか

測る価値はあります。ただし、固定プロンプトの経時変化と、同じ意図の言い換えに対する広がりは別々に集計します。混ぜると「ページが改善した」のか「測る質問を変えた」のか分からなくなります。

無料で始める方法はありますか

重要な質問を少数に絞り、表計算で記録できます。ただし、記録できるのは自分が選んだ質問に対する結果だけで、AI回答への出現を保証するものではありません。