AI可視性 は何回測れば信頼できるのか — 1 回の検索を指標にしない

• 最終検証日：2026年8月13日
• Methodology バージョン：2026.08.54（訂正）
• 本文中の「2026.08.xx」：その訂正を行った判断基準の版の番号です。公開した版は書き換えず、訂正は新しい版として残しています
• 位置づけ：SILVE の測定モデル。業界標準の手順ではありません
• 関連記事：露出を分けて測る / 測定の 3 レイヤー / 取得と引用を分ける

その 62% は、もう一度測っても 62% か

AI 検索のツールには「AI Visibility 62%」「Citation Rate 34%」といった数字が並びます。検索順位ツールと同じ指標に見えます。

しかし決定的な違いがあります。同じプロンプトを送っても、毎回同じ答えが返るとは限りません。 引用される情報源も、挙がるブランドも変わります。

2026 年の研究 Quantifying Uncertainty in AI Visibility（Ronald Sielinski、arXiv 2603.08924、v2 は 2026 年 6 月 9 日）は、これを統計の問題として扱いました。主張は単純です。

citation visibility metrics should be treated as sample estimators of an underlying response distribution

可視性の指標は、背後にある応答分布から取った有限標本の推定値である。 「Visibility = 62%」は「今回の標本から 62% と推定した」という意味です。

実際にどれくらいぶれるのか

同研究は Perplexity Search・OpenAI SearchGPT・Google Gemini の 3 プラットフォームで、3 つの消費財トピックについて反復測定しました。日次で 9 日間と、10 分間隔の高頻度サンプリングの 2 通りです。

同じクエリを繰り返したときに、引用されるドメイン集合がどれだけ重なるか（ドメイン単位の Jaccard 係数）を測っています。Gemini の bird feeders では中央値 0.31、完全一致率 0.07%、重なりゼロ率 0.35% でした。

★ 単位を 2026.08.54 で訂正しました。 以前は完全一致率と重なりゼロ率を 7% / 35% と読んでいましたが、表のこの 2 列はパーセントです。100 倍の誤りでした。 論文本文は「The identical citation rate ... ranges from near-zero for Gemini (0.01-0.10%) to 3-8% for SearchGPT and Perplexity. The zero-overlap rate is highest for SearchGPT (6-9%) and lowest for Perplexity (1-2%)」としています。

訂正すると、研究の示唆はむしろ正確になります。 典型的なのは「毎回まったく別の集合になる」ことではなく、部分的には重なるが、集合全体としてはかなり入れ替わる状態です。中央値 0.31 という数字はそれを表しています。

同じ質問をしても、引用元の集合が完全に一致することはほとんどありません。

「一度引用された」と「安定して引用される」は別です。

3.5 ポイントの差は差ではなかった

論文の冒頭の例が分かりやすい。SearchGPT のランニング用品トピックで 200 クエリを集めたところ、

3.5 ポイント差。Tom's Guide が優勢に見えます。 しかし 95% ブートストラップ信頼区間はこうでした。

These intervals overlap substantially: the entire runnersworld.com interval falls within the tomsguide.com interval. The apparent difference of 3.5 percentage points is well within the range of sampling noise.

runnersworld の区間が、tomsguide の区間に完全に含まれています。 この標本から「Tom's Guide のほうが上」とは統計的に言えません。

そして論文はこう続けます。

This is not a pathological edge case. Across the platforms and topics studied in this paper, overlapping confidence intervals of this kind are the norm rather than the exception.

例外ではなく、これが普通だということです。

「競合より 3 ポイント高い」を勝ちと呼ばない

自社 31%、競合 28%。ダッシュボードでは勝っています。しかし区間が 24〜38% と 22〜34% なら、その 3 ポイントは測定のノイズかもしれません。

SILVE は、区間が大きく重なる差を順位差として表示しません。

何回測ればいいのか — 「回数」は 3 種類ある

ここが本題です。万能な数字はありません。 そして「何回」には少なくとも 3 種類あります。

この 3 つを「100 回測定した」の一言にまとめてはいけません。

1 プロンプト × 100 試行と20 プロンプト × 5 試行は、どちらも 100 応答ですが、測っているものが違います。前者はプロンプト固定時のばらつき、後者はプロンプト空間の広さです。

研究が出した数字は「クエリ数」であって試行回数ではない

ここが最も誤解されやすい部分です。

Sielinski の研究は、引用シェアで CI 幅 0.05、引用普及率で 0.15 を実務上の精度目標として設定し、クエリ数を増やしたときに CI 幅がどう縮むかを分析しました。頻繁に引用されるドメインのうち最も CI が広いものを基準にした、最悪ケースの精度限界です。

結果はプラットフォームで大きく違いました。

これは「同じプロンプトを 40 回・100 回実行すればよい」という意味ではありません。 1 回の収集で使うクエリと応答の観測数です（2026.08.54 で訂正）。

「クエリの種類数」とも書けません。 同研究はトピックごとに 200 件のクエリを生成していますが、重複を意図的に残しています（bird feeders は 200 件中 172 件が一意で、重複率 14.0%）。「よく生成されるクエリは、よく尋ねられるクエリに対応しているはず」という理由で残したと明記されています。

SILVE の 3 軸（情報要求数 ≠ 言い換え数 ≠ 試行回数）は引き続き有効ですが、この n を SILVE の「情報要求数」や「一意なプロンプト数」へ直接対応させないでください。

そして指標を変えると順序が入れ替わります。 引用シェアで最も多くのクエリを要する SearchGPT が、引用普及率では最も少なくて済む。「このプラットフォームは n 件で足りる」という言い方自体が、指標の指定を落としています。

同じ論文が、その数字にすぐ限定を付けている

ここが読み飛ばされやすいところです。論文は n ≥ 150 という目安を出した上で、SearchGPT についてはその目安でも足りない可能性を述べています。

A measurement protocol designed for Gemini (where n = 40-50 might be sufficient) is inadequate for SearchGPT, where no fixed-n protocol achieves the target precision within a realistic budget.

引用シェアが収束しなかったトピックもあり、最小クエリ数を分布のパラメータから厳密に導くことは、論文が意図的に開いたままにした課題（deliberately leaves open）です。

n ≈ 120 以降で曲線が滑らかになる点についても、明確に釘を刺しています。

this should not be interpreted as evidence that collecting 120 or more queries resolves the instability. As n approaches the full sample size of 200, subsamples are drawn from an increasingly exhausted pool

標本全体に近づくほど、部分標本は同じ母集団から取り直したものではなくなります。 見かけ上滑らかになるのは、不安定さが解消したからではありません。

つまり 「SearchGPT は 150 クエリで十分」も「目安など無い」も、どちらも片側だけの引用です。 目安は示されている。同時に、その目安で足りる保証はないとも書かれている。

そして忘れてはいけないのは、これが 1 研究・3 トピック・約 9 日間の結果だということです。 ある研究で収束したクエリ数は、業界の最低標本サイズではありません。

ブートストラップの信頼区間でも足りない場合がある

論文が付けている最も重要な限定です。

confidence intervals built on the stationarity assumption, including the bootstrap, may understate true uncertainty, and convergence of CI width with sample size may be non-monotone.

ここで問題が3 つに分かれます。

1. システムの非決定性 — 同じ入力でも応答が変わる
2. 標本誤差 — 有限のクエリから推定していることによる幅
3. 標本内の非定常性 — 標本を取っている最中に、分布そのものが動いている

信頼区間は 1 と 2 を扱う道具です。3 番目は、この論文が用いた区間では十分に扱えません（2026.08.54 で射程を限定）。

「信頼区間という手法一般が非定常性を扱えない」ではありません。 言えるのは、この論文の応答単位のブートストラップ区間は、標本が交換可能で定常であることを前提としているため、標本内で分布が動いていると真の不確かさを過小評価し得るということです。時系列を考慮したブートストラップなど、別の方法まで否定しません。

つまり「信頼区間を付けたから安心」でもありません。

論文は原因について、クエリの投入順序の効果が最も可能性が高い（most likely driven by query-ordering effects）とし、システムの性質ではなく測定設計側の問題だと整理しています。

SILVE はこれを受けて、クエリ順序を無作為化します。 ただし位置づけを間違えないでください。論文は、無作為化がこの問題を解決することを実証していません。 これは SILVE 側の運用上の緩和策であって、証明された対処ではありません。だから測定記録には、順序をどう決めたか・定常性を評価したかどうかを別項目として残します。

反復を増やしてもプロンプトの偏りは直らない

「おすすめの会計ソフトは？」を 100 回実行すれば、その一文に対する応答分布は精度よく測れます。しかし「会計ソフトという情報要求全体」を測ったことにはなりません。

しかも言い換えの影響は小さくありません。 45 研究を整理したレビューは、わずかな言い換えが AI Overviews の情報源を、通常の検索が返す結果よりも大きく変えるという結果を紹介しています（Grossman ら、SIGIR 2026 収録。2026.08.54 で書誌情報を更新しました — 原典には Proceedings of the 49th ACM SIGIR Conference、2026 年 7 月 20〜24 日、DOI 10.1145/3805712.3809667 が入っています）。

だからレビューは、GEO の測定が試行・言い換え・日付・エンジンの少なくとも 4 次元に沿って変化しなければならないとしています。

別のユーザーは「中小企業向け会計ソフトを比較して」と聞き、また別のユーザーは「初心者でも使いやすいクラウド会計は？」と聞きます。

試行を増やしてもプロンプトの網羅不足は解決しません。 そして 45 研究のレビューが引用する研究では、わずかな言い換えでも AI Overviews の情報源が従来検索より大きく変わることが報告されています。

だから SILVE はプロンプトの上位に情報要求を置き、1 つの情報要求に複数の言い換え（プロンプトファミリー）を持たせます。レビューの推奨は情報要求あたり 3〜5 の言い換えです。

反復回数も「7〜8 回が正解」ではない

レビューは 1 プロンプトあたり 7〜8 回の反復を出発点として紹介しつつ、それが普遍的な標準ではないと明記しています（露出を分けて測る で扱いました）。

SILVE は固定の試行回数を規範にしません。 手順はこうです。

1. 予備測定 — 少数の情報要求とプロンプトファミリーで反復する
2. ばらつきの推定 — プラットフォーム・指標ごとに変動を見る
3. 精度目標の決定 — 許容する信頼区間の幅を決める
4. 本測定の設計 — 必要なクエリ数・試行回数を決める

「7〜8 回」は 1 の出発点であって、4 の答えではありません。

分けなければ意味が変わるもの

ブランド名を含むかどうか

「Salesforce とは？」と「おすすめの CRM は？」は別の測定です。前者はユーザー自身がブランド名を入れています。 そこで登場しても、AI が自発的に候補として選んだことにはなりません。

認知（Branded）と発見（Unbranded）を平均しません。 ブランド付きで 100%、ブランド無しで 20% を平均して「60%」とはしません。違う現象を平均しているからです。

候補を指定したかどうか

「A・B・C を比較して」では候補集合が最初から与えられています。「おすすめを 5 つ挙げて」では AI が自分で候補を選びます。

SILVE はこれを Open Set / Closed Set として分けます。業界標準の用語ではなく、SILVE の測定上の区分です。

閉じた集合での評価が高いことと、開いた集合で候補に挙がることは別です。

条件を書かない数字は比較できない

「ChatGPT Visibility」というラベルだけでは測定条件になりません。同じ製品名でも、検索の有無・モード・モデルが違えば情報源の選ばれ方が同じとは限りません。

先月と今月でモデルが変わっていれば、可視性が上がっても自社の施策の成果とは言えません。 モデルの変更が交絡します。

日付も測定条件です。 上記の研究は同じクエリ集合を 9 日間繰り返し、さらに 10 分間隔でも取得しています。

スナップショットと 30 日平均も別の指標です。 前者はノイズを受けやすく、後者は直近の変化を平均で消し得ます。

標本の枠を宣言して初めて意味を持つ

SILVE が可視性を表示するときは、先に標本の枠を定義します。

プラットフォーム : ChatGPT
モード          : Web 検索あり
モデル          : 観測できた場合のみ記録（不明なら unknown）
ロケール        : ja-JP
測定期間        : 2026-08-05 — 2026-08-11
情報要求        : 20
言い換え/要求   : 4
プロンプト数    : 80
試行/プロンプト : 8
総応答数        : 640
クエリ区分      : Unbranded / Open Set
指標            : Brand Mention Rate

この条件があって初めて「31%」に意味が生まれます。 そして点推定だけでなく区間を併記します。

順位ではなく層で示すほうが正確なことがある

区間が大きく重なるなら、1 位・2 位・3 位という細かい順位は見せかけの精度を作ります。

同研究は、引用の順位が標本をまたいで不安定であることを、上位ドメインだけでなく頻繁に引用されるドメイン集合全体について示しています。

その場合は「先頭の集団」「次の集団」というまとまりのほうが実態に近いことがあります。

0% と、まれな出現の扱い

10 回測って一度も出なければ観測値は 0% です。しかし真の出現確率が 0 とは限りません。 標本が少ないだけかもしれません。

そして引用の分布はべき乗則の形を取ることが観測されています。裾では 0 回・1 回・2 回の差だけで順位が大きく動きます。「87 位から 42 位へ上昇」が、実際には引用が 1 回増えただけということが起こります。

SILVE は小さな回数から精密な順位を作りません。

SILVE の規則

1. AI可視性 を固定値として表示しない。 標本からの推定値として扱う
2. クエリ数・言い換え数・試行回数を別々に記録する。 「100 回測定」で済ませない
3. 固定の試行回数を規範にしない。 予備測定 → ばらつき推定 → 精度目標 → 本測定
4. 点推定だけで高精度を主張しない。 標本が小さいのに小数点以下 2 桁まで出さない
5. 標本サイズと測定条件を開示していない値を、基準値として採用しない
6. Branded と Unbranded を説明なく平均しない
7. Open Set と Closed Set を同じ発見の指標にしない
8. プラットフォームを跨いだ合成値を作る場合も、個別の値を必ず残す
9. 測定手順が変わったら時系列比較に警告を出す。 プロンプト集合も測定器なのでバージョンを持つ
10. 区間が重なる差を勝敗として断定しない

まとめ

• AI可視性 は固定値ではなく推定値です
• 同じクエリでも引用元はかなり入れ替わります。 ドメイン単位の Jaccard 中央値が 0.31 という観測があります（完全一致は 0.07%、重なりゼロは 0.35%。つまり「毎回まったく別の集合」ではなく「部分的には重なるが全体は入れ替わる」状態です）
• 3.5 ポイント差が信頼区間の重なりの中に収まる例が報告されています。 しかも例外ではなく普通です
• 「何回」には 3 種類あります。 クエリ数・言い換え数・試行回数
• 必要な標本はプラットフォームと指標で違います。 Gemini は n ≈ 40〜50、Perplexity は n ≈ 90〜100、SearchGPT は最も遅い
• ただし SearchGPT の数字を閾値として読んではいけません。 論文自身が否定しています
• ブートストラップの区間でも不確かさを過小評価し得ます
• 試行を増やしてもプロンプトの網羅不足は直りません

数字を出すことより、その数字がどの条件で成立しているかを失わないこと。そして、分からない精度まで分かったように表示しないこと。

Framework Record

この記事の判断を、あとから検証できる形で記録したものです。本文の結論（Core Rules）と、SILVE が内部で持つ記録の項目、参照した一次資料が入っています。

Framework Name: AI Visibility Sampling & Uncertainty Framework Version: Methodology 2026.08.54 Status: SILVE Operational Framework（業界標準の手順ではない） Last Verified: 2026-08-13 実装: 未実装（VISIBILITY_VECTOR.md の実装前提条件に、標本設計の要件として加える）

記録する軸

推定対象 — 何を推定したいのか（言及確率 / 引用普及率 / 引用シェア / 推薦の有無）

標本 — 情報要求数 / プロンプト数 / 言い換え数 / 試行回数 / 時間窓の数 / 応答数 / 有効応答数

条件 — プラットフォーム / 製品 / モード / モデル / 検索の有無 / ロケール / アカウント状態 / 測定期間

区分 — Branded / Unbranded、Open Set / Closed Set

不確かさ — 点推定 / 信頼水準 / 信頼区間 / 区間の算出方法 / 定常性を評価したか / 区間の前提が満たされているか

測定設計 — クエリ順序の決め方 / 順序を無作為化したか

版 — 測定手順の版 / プロンプト集合の版

Core Rules

1. AI Visibility ≠ 固定値
2. 1 応答 ≠ システムの状態
3. クエリ数 ≠ 試行回数 ≠ 言い換え数
4. プロンプト ≠ 情報要求
5. Branded の認知 ≠ Unbranded の発見
6. Closed Set の評価 ≠ Open Set の発見
7. 同じ製品名 ≠ 同じモデル・モード
8. スナップショット ≠ 長期の可視性
9. 標本が増えても、比較可能とは限らない
10. 信頼区間を付けても、不確かさを尽くしたとは限らない
11. ある研究で収束したクエリ数 ≠ 業界の最低標本サイズ
12. クエリの投入順序は測定設計の一部である
13. 発行者の利害関係は、資料の質とは別に記録する

一次資料

• Ronald Sielinski（IQRush）— Quantifying Uncertainty in AI Visibility: A Statistical Framework for Generative Search Measurement（preprint、arXiv 2603.08924、v2 は 2026-06-09、CC BY 4.0） https://arxiv.org/abs/2603.08924 利害関係の記録： 著者の所属である IQRush は、公式サイトで自らを AI 検索の可視性の測定・検証（AI Search visibility measurement and verification）を提供する事業者と説明しています。論文の主題と同社の事業領域は直接重なります。 これは論文の結論を無効にするものではありませんが、独立性を評価するときに記録すべき事実として残します。著者の役職は同社サイトで Chief Data Scientist と確認できます（2026.08.54 で更新。以前は「確認できなかった」と書いていました）。
• Olivier Martinez — Optimizing Visibility in Generative Engines: A Critical Survey of Generative Engine Optimization (2023–2026)（preprint、2026-07-15） https://arxiv.org/abs/2607.14035