GEO 施策は本当に効いたのか — 前後比較で判断してはいけない理由

• 最終検証日：2026年8月13日
• Methodology バージョン：2026.08.58（訂正）
• 本文中の「2026.08.xx」：その訂正を行った判断基準の版の番号です。公開した版は書き換えず、訂正は新しい版として残しています
• 位置づけ：SILVE の測定モデル。業界標準の手順ではありません
• 関連記事：標本設計と不確かさ / エンジンごとの情報源の違い / 新しさと有効性 / 情報環境

「6 倍になった」は、「6 倍にした」ではない

AI 検索対策を実施したあと、ChatGPT からの流入が 6 倍になった。

数字としては正しい。しかし問題があります。

その増加は、本当に施策が原因なのか。

2026 年 6 月に公開されたプレプリント Disentangling Answer Engine Optimization from Platform Growth（Watanabe & Nakayashiki、Glasp Inc.）は、まさにこの問題を扱っています。

glasp.co の /youtube/ 配下の数十万ページに 2026 年 1 月から AEO の施策群を適用し、施策を受けなかった同一ドメインの残りを同時期の対照群として、ChatGPT からの参照流入を追跡しました。

結果です。

何もしていないページも 3.5 倍伸びていました。

★ 2026.08.58 で言い方を訂正しました。 以前はここに「ChatGPT というプラットフォーム自体が急成長していたからです」と書いていました。断定できません。

直接観測されたのは、同一ドメインの施策を受けていないページが 3.5 倍になったことです。 論文はこれをプラットフォーム tailwind（プラットフォーム側の追い風）を吸収したものと解釈していますが、モデルはプラットフォーム側の変動が処置群と対照群へ等しく乗法的に効くという仮定を置いています。

そして著者自身が、外部のプラットフォーム全体の参照指標があれば識別が強まると限界に挙げています。

Matched controls, multi-engine and multi-domain replication, and an external platform-wide referral index would each strengthen identification.

したがって言えるのはここまでです。

• 言える — 対照群も 3.5 倍成長しており、生の 6.1 倍には施策以外の共通要因が大きく含まれていた
• 言えない — 3.5 倍が ChatGPT 全体の成長率そのものである

この記事の結論は変わりません。むしろ強くなります。 「対照群を置かなければ共通要因を分離できない」という話であって、その共通要因が何であるかを特定する話ではないからです。

論文はこう書いています。

a naive before/after on treated pages would credit the full 6.1× to the optimization

まず、38.2 倍という数字から

同じデータで、もっと大きな数字も作れます。

日次系列を谷から山へ読むと、2026 年 1 月上旬の最小日から 5 月 5 日の単日の頂点まで 38.2 倍です。

論文はこれを効果の推定に使っていません。

This is a fragile basis for an effect estimate: the May 5 value is a transient spike and the sustained late-May level is under half that peak.

最小値と最大値を選んだ倍率は、記述的な極値であって効果ではありません。

月次で集計すると、サイト全体の ChatGPT 参照流入は 5.7 倍でした。

対照群を置くと 6.1 倍が 1.75 倍になる

処置群と対照群の成長率の比を取ると、単純な差分の差分は次のとおりです。

対照群を置いただけで、6.1 倍が 1.75 倍になりました。

これが「観測された変化」と「推定された処置効果」の違いです。

しかし、まだ足りない — 事前トレンドがあった

ここからがこの研究の本当に価値のある部分です。

週次の処置群／対照群の比の対数について、47 週（介入前 26 週、介入後 21 週）の中断時系列分析を行ったところ、こうなりました。

施策を始める前から、処置群は対照群を上回って伸びていました。

つまり、そのトレンドが続くだけなら、施策が無くても処置群は対照群を上回ります。 単純な差分の差分は、この既存トレンドを施策の成果に含めてしまいます。

水準の変化と傾きの変化は違う

論文の整理はこうです。既存のトレンドは続いた。介入は水準を動かしたが、傾きは動かさなかった。

これは実務でよくある誤解に直結します。

施策後、1 月 100 → 2 月 150 → 3 月 200 → 4 月 250。だから施策で毎月成長した。

施策前から同じ傾きで伸びていた可能性があります。

使ってはいけない数字が、同じ論文の中に書かれている

もう一つ重要な数字があります。

介入後の最後の 4 週と介入前の平均を比べた比の比は 4.85 倍（ブロックブートストラップの 95% 信頼区間 2.63〜5.55）。

信頼区間まで付いていて、見栄えがします。しかし論文はこう書いています。

This conflates the level break with the continuation of the pre-existing trend and should not be read as the intervention effect.

信頼区間が付いていることは、その数字が因果効果であることを意味しません。

そして置換検定 — p = 0.001 と p = 0.16 が同居する

回帰では水準の跳ね上がりが p = 0.001 でした。かなり小さい。

しかし著者らは、介入前の期間内のあらゆる候補日で、同じモデルを当て直しました。 偽の介入日を置いて、そこでも同じくらいの跳ね上がりが出ないかを見る検定です。

介入前の期間のノイズだけで、観測されたものとほぼ同じ大きさの跳ね上がりが起きていました。

だから著者らは、効果を suggestive（示唆的）であって conclusive（決定的）ではないと位置づけています。

同じ研究の中に p = 0.001 と p = 0.16 が併存しています。 都合の良い方だけを引けば、まったく違う話になります。

★ 2026.08.58 で規則を書き直しました。 以前は「SILVE は因果の確信度を、最も弱い重要な検定に合わせます」と書いていました。この研究についての結論は正しいのですが、一般規則としては強すぎます。

検定ごとに、検証している仮定も帰無仮説も検出力も違います。 「複数の検定のうち最も悪い p 値を採る」は、方法論として正しくありません。

正しくはこうです。

識別の仮定を直接脅かす置換検定・反証検定・頑健性検定が通らなかったとき、その結果を無視して主分析だけから強い因果の格付けを与えない。

「一番弱い数字を採る」ではなく、「どの検定がどの因果の仮定を検証しているか」を見ます。

この研究では、置換検定が検証しているのは「観測された跳ね上がりが、事前期間のノイズだけで起こる程度のものではないか」という、識別の中心そのものです。だから無視できません。 適用した結果が suggestive です。

そして重要なのは、置換検定を通らなかったことは研究の失敗ではないということです。過剰な因果の主張を止めた成功です。

複数の仕様でも 1.8〜2.3 倍

念のため、頑健性も確認されています。

すべて 1.8〜2.3 倍の範囲。 仕様には頑健です。

ただし仕様に頑健であることと、設計上の前提が満たされていることは別です。 置換検定は依然として通っていません。

そして SILVE は、この 1.8〜2.3 倍を採点の重みや業界の基準値として採用しません。

「悪化しなかった」と「改善した」を分ける

同研究は防護指標として Google の自然検索も追跡しています。

処置ページの自然検索は、実際には約 25% 減っています。 論文は、これがサイト全体および業界の趨勢と整合的で施策特有の崩壊ではないとし、表示回数も通常の範囲で、インデックスからの削除も起きていないとしています。

そして、こう明記しています。

We find no support for the stronger "flywheel" claim (that AEO citations measurably lifted organic search) in this window

「防護指標に問題なし」を「自然検索にも良い効果があった」と読み替えてはいけません。

論文が挙げた 7 つの妥当性への脅威

この一覧そのものが、実務の記録項目の雛形になります。

1. 事前トレンドが有意に存在する
2. 波及 — 施策がドメイン全体の引用されやすさを高めたなら、対照群も恩恵を受けて差分の差分は下方へ偏る（推定は保守的になる）
3. 測定上の断絶 — 3 月中旬のボット除外方針の変更。エンゲージメント率は 1 月の 0.486 から 5 月の 0.896 へ上昇
4. 束であって構成要素ではない — 4 つの施策が互いに交絡
5. 単一ドメイン・実質単一エンジン — 外的妥当性は未検証
6. 処置群と対照群の内容の性質が違う — 対応づけられていない
7. 観察研究であり無作為化されていない。介入日も近似

波及の向きは一律に仮定しない

論文は、対照群も恩恵を受けた場合に推定が保守的になると書いています。

論文が明示しているのはこの向きだけです。

理論上は逆もあり得ます。 表示できる枠が限られていたり、情報源の選択が相対的に働く場面では、処置ページが対照ページを置き換える競合的な干渉が起こり得ます。その場合は対照群が悪化し、効果を過大評価する方向に働きます。

★ ただし 2026.08.58 で断定を撤回しました。 以前はここに「一社が候補に入れば、誰かが外れます」と書いていました。生成 AI の回答で引用や情報源の数が固定だとは限りません。 「A が入れば必ず B が外れる」というゼロサムの構造とは限りません。

そして本研究は、この経路を直接検証していません。 可能性として記録し、推定の向きを断定しません。

施策は 4 つの束だった

同研究の施策の内訳です。

1. URL の正規化 — 重複する URL を 1 本に統合
2. 404 ログからの需要の発掘 — AI ボットが要求した存在しない URL を需要の信号として扱い、新規ページを生成
3. タイトルと冒頭要約の書き換え — タイトルを疑問形に、冒頭を単独で読める 2〜3 文の回答に
4. 防護規則（SEO Guard） — ★ 2026.08.58 で内訳を補いました。 以前は「Google からの意味のあるクリックがあるページを書き換えの対象から外す」までしか書いていませんでしたが、3 つに分岐します。

つまりこの施策は「既存の SEO を守りながら書き換える」だけではありません。需要の低いページを公開停止するという、コーパスそのものへの介入を含みます。

4 つが同時に適用されているので、個別の効果は分かりません。

この抜けは重要でした。 「タイトルを疑問形にしたから 1.8 倍」という誤読を防ぐには、束の中身が実際にどこまで及んでいたかを落とせません。

さらに論文は、404 の発掘で新規ページが増えたためコーパスの規模自体が変わっており、推定された効果はページ単位の改善とコーパスの拡大を合わせたものだと明記しています。

「疑問形のタイトルが 1.8 倍効いた」とは言えません。

AI 検索でも因果設計は成立し得る

別の例があります。ワシントン大学の Khosravi と Yoganarasimhan は、Google AI Overviews の段階的な地域展開と Wikipedia の多言語構造を利用しました。

AI Overviews に露出した英語版の記事を、観測期間中に露出していない言語版（ヒンディー語・インドネシア語・日本語・ポルトガル語）の同じ記事と比較する差分の差分法です。

161,382 の対応づけられた記事と言語の組について、AI Overviews への露出は英語版へのトラフィックを約 15% 減らすと推定されました。効果は一様ではなく、文化の記事で最も大きく、STEM では大幅に小さいという結果です。

ただしこれは GEO 施策の研究ではありません。 測っているのは AI Overviews の導入の効果です。

用途は一点だけ — 段階的な展開や言語の差といった自然な変動を使えば、AI 検索でも単純な前後比較より強い推論ができるということです。

標準誤差の問題

もう一つ、方法論の古典があります。

Bertrand、Duflo、Mullainathan は、差分の差分法を使う研究の多くが系列相関が標準誤差にもたらす偏りを無視していると指摘しました。

州単位の賃金データに偽の法律を無作為に生成して効果を推定したところ、こうなりました。

with about 20 years of data, DD estimation finds an 'effect' significant at the 5% level of up to 45% of the placebo laws

存在しない効果の最大 45% が「有意」と判定される。

Watanabe らはこれに対応して HAC（Newey–West 型）の標準誤差を使っています。それでも置換検定は通りませんでした。 標準誤差の補正だけで全部が解決するわけではない、ということです。

SILVE はこう記録する

生の数字を消さずに、どこで数字が変わったかを追える形にします。

observedChange           6.1x
controlGroupGrowth       3.5x
simpleControlledEffect   1.75x
itsLevelEffect           1.82x
confidenceInterval       1.31 - 2.54
placeboP                 0.16
causalStatus             suggestive

そして因果の状態を二値にしません。

causalStatus: established | supported | suggestive | inconclusive | unsupported

「有意差なし」と「効果がゼロ」も分けます。 Insufficient Evidence と Evidence of No Effect は違います。

★ 2026.08.58 で、後者の条件を書きました。 「効果が無いという証拠」を出すには、有意でなかったことでは足りません。典型的には次が要ります。

1. 事前に「実質的に無視できる効果の範囲」を決める（最小の意味ある効果量）
2. 同等性・非劣性の考え方で検定する
3. 信頼区間がその範囲へ十分に狭く収まる

p > .05 は「効果がゼロ」ではありません。 「この設計では区別が付かなかった」です。区別が付かなかったことと、無いことは違います。

段階を飛ばさない

介入 → 取得 → 引用 → 言及・推薦 → クリック・参照 → 転換 → 収益

一段の効果を、次の段へ自動的に昇格させません。

引用が 20% 増えた。だから収益も増えた。とは言えません。

なお Watanabe らの研究は、生成された回答の中の可視性ではなく実際の参照セッションを測っている点で、多くの GEO 研究より一段下流の成果を扱っています。ただし転換や収益はさらに別です。

施策の前に測定設計を作る

最も実務的な規則です。

全ページを改善してから効果を測ろうとしても、対照群がもう残っていません。

100 ページ改善する予定なら、先に たとえば 80 ページを処置群、20 ページを保留群と決める。これだけで、後から得られる証拠の質が大きく変わります。

★ ただし 80 / 20 は例であって、標準の配分ではありません（2026.08.58 で明示）。 以前は比率だけを書いており、新しい「正解」に見えてしまいます。

必要な対照群の大きさは、見込む効果の大きさ・基準時の分散・クラスタ内の相関・ページ間の異質性・波及の有無・主要指標・必要な検出力で変わります。可能なら検出力の計算とページ群の異質性を踏まえて決めてください。

この記事の主題は「数字を手順へ変換しすぎない」ことです。80 / 20 も例外ではありません。

そして実験の記録を先に書きます。

experimentId / hypothesis
primaryOutcome / secondaryOutcomes / guardrailOutcomes
treatmentUnits / controlUnits / assignmentMethod
interventionStart / interventionEnd / rolloutType
measurementProtocolVersion / promptSetVersion

事後にデータを見て、唯一伸びた指標を「これが目的でした」とするのは危険です。

ただし、明らかな誤情報・安全上の問題・法的に必要な修正を、実験のために保留してはいけません。 保留に向くのは、効果がまだ不確かな最適化だけです。

割り当ての単位と観測の単位を分ける

★ 2026.08.58 で適用範囲を限定しました。 以前は「AI の応答は確率的なので、ページを無作為に割り当てても各ページで反復測定が要ります」と、あらゆる実験に当てはまるように書いていました。

これは、自分でプロンプトを投げて可視性を観測する実験の話です。

この研究の主要指標は ChatGPT からの参照セッションで、実際に用いているのは週次の処置群 / 対照群の比です。 応答単位ではありません。

プロンプトで可視性を観測する場合の例が、こうなります。

assignmentUnit  — page
observationUnit — response
clusterUnit     — page

同じページからの 100 応答は、100 ページ分の標本ではありません。 これはこの場合に成り立つ話です。

3 つのフィールドを持つこと自体は変えません。値を page / response / page に固定しないだけです。

まとめ

• 前後比較は変化を測るが、原因は測らない
• 対照群を置くだけで 6.1 倍が 1.75 倍になった。何もしていないページも 3.5 倍伸びていた。★ ただし 3.5 倍は対照群の成長であって、ChatGPT 全体の成長率を直接測った値ではない
• 事前トレンドがあった（月あたり約 +11%、p = 0.007）。既存トレンドを施策に帰属させない
• 水準は動いたが（1.82 倍）、傾きは動かなかった（p = 0.53）
• 同じ論文の中に p = 0.001 と p = 0.16 が併存する。★ 識別の仮定を直接脅かす置換検定が通らないなら、主分析だけから強い因果の格付けを与えない（「最も悪い p 値を採る」ではありません）
• 38.2 倍も 4.85 倍も、論文自身が効果として使うなと書いている
• 処置ページの自然検索は約 25% 減っている。「悪化しなかった」は「改善した」ではない
• 4 つの施策の束であり、コーパスの規模も変わっている。構成要素の効果は分からない

問うべきは「施策後に数字が上がりましたか」ではありません。

「何もしなかった場合、その数字はどうなっていたと考えられますか」です。

そして、分離できないものは、分離できないと記録すること。

成長を成果と呼ぶ前に、増分を問う。

Framework Record

この記事の判断を、あとから検証できる形で記録したものです。本文の結論（Core Rules）と、SILVE が内部で持つ記録の項目、参照した一次資料が入っています。

Framework Name: GEO Intervention Causal Evaluation Version: Methodology 2026.08.58 Status: SILVE Operational Framework（業界標準の手順ではない） Last Verified: 2026-08-12 実装: 未実装

記録する軸

介入 — interventionId / interventionType / components / interventionStart / interventionEnd / rolloutType

割り当て — assignmentUnit / observationUnit / clusterUnit / assignmentMethod（randomized / matched / rule_based / natural_experiment / observational）

反実仮想の設計 — counterfactualDesign（randomized_holdout / contemporaneous_control / difference_in_differences / interrupted_time_series / synthetic_control / none）

事前診断 — preTrendAssessed / preTrendCompatible

成果 — primaryOutcome / secondaryOutcomes / guardrailOutcomes / causalOutcomeStage

効果 — observedChange / controlGroupGrowth / estimatedTreatmentEffect / confidenceInterval / estimator

頑健性 — placeboTest / alternativeSpecification / negativeControl

干渉 — spilloverRisk / controlContamination

測定 — measurementProtocolVersion / promptSetVersion / measurementChangePoints

状態 — causalStatus（established / supported / suggestive / inconclusive / unsupported）/ effectType（descriptive / associational / causal_estimate）

Core Rules

1. 前後比較 ≠ 因果効果
2. 観測された変化 ≠ 処置効果
3. 成長 ≠ 増分
4. 昨日の状態 ≠ 今日、何もしなかった世界
5. 対照群 ≠ 自動的に妥当な反実仮想
6. 同一ドメイン ≠ 完全な対照群
7. 事前トレンドを確認する
8. 水準の変化 ≠ 傾きの変化
9. 主分析の p 値 ≠ 証拠の全体
10. 置換検定の不通過は必ず記録する
11. 谷から山への倍率 ≠ 持続する効果
12. 信頼区間が付いている ≠ 因果効果である
13. 束の効果 ≠ 構成要素の効果
14. 引用の効果 ≠ 参照の効果 ≠ 転換の効果
15. 単一エンジンの効果 ≠ 横断的な効果
16. 証拠が無い ≠ 効果が無い
17. 波及は対照群を汚染し得る
18. 測定の変更は施策の効果に見える
19. 悪化しなかった ≠ 改善した
20. 因果の主張は、記述的な主張より強い証拠を要する

確立していないこと

• GEO / AEO の普遍的な因果的トラフィック倍率
• 単一の GEO 手法の商用エンジンにおける普遍的な因果効果
• 前後比較だけから導かれる因果効果
• プラットフォームの基準線を置かない生の成長率から導かれる因果効果
• ChatGPT での効果の Gemini / Perplexity / Google AI Mode への移転
• 束の中の個別施策の寄与（別途識別しない限り）
• 引用の増加から参照の増加への自動的な変換
• 参照の増加から転換・収益への自動的な変換
• 同一ドメインの対照群の完全な妥当性
• モデル更新やプラットフォームの改変をまたいだ効果の安定性
• オーガニックな発見可能性や下流の行動に対する、安定した縦断的・複数プラットフォームの因果効果（レビュー対象内で確認された手法は無い）

重要な限定

Watanabe らの研究は未査読のプレプリントで、著者 2 名はいずれも Glasp Inc. 所属、評価対象は自社ドメインで自社が実施した施策です。 自社の一次データ（GA4 とサーバーログ）を使えることは直接的な参照流入の測定にとって方法論上の強みですが、自己評価であり単一ドメインである点は独立性と外的妥当性を制限します。

この研究から採るべきは数値の倍率ではなく方法です。 1.8〜2.3 倍という推定は、1 つのドメイン、1 つの束、ChatGPT に偏った参照チャネル、有意な事前トレンド、曖昧な介入日、短く変動の大きい介入前の期間から出ています。保守的な置換検定は通常の水準に達していません。SILVE はこの研究から数値の倍率を基準値や採点の重みとして採用しません。

Khosravi らの研究は GEO 施策の研究ではありません。 また Bertrand らの資料は AI 検索の研究ではなく、本台帳が本文を確認したのは公開されている NBER Working Paper の要旨です（出版版は購読の壁）。

一次資料

• Keisuke Watanabe & Kazuki Nakayashiki — Disentangling Answer Engine Optimization from Platform Growth: A Log-Based Natural Experiment on ChatGPT Referral Traffic（preprint、arXiv 2606.04362、2026-06-03） https://arxiv.org/abs/2606.04362 利害の記録： 著者 2 名は Glasp Inc. 所属で、評価対象は自社ドメイン glasp.co です。
• Mehrzad Khosravi & Hema Yoganarasimhan — Impact of AI Search Summaries on Website Traffic: Evidence from Google AI Overviews and Wikipedia（preprint、arXiv 2602.18455、確認したのは v4） https://arxiv.org/abs/2602.18455
• Marianne Bertrand, Esther Duflo & Sendhil Mullainathan — How Much Should We Trust Differences-in-Differences Estimates?（NBER Working Paper 8841、2002-03。後に The Quarterly Journal of Economics 2004 掲載） https://www.nber.org/papers/w8841