AI クローラを「用途」で分ける — GPTBot・OAI-SearchBot・ClaudeBot・Google-Extended の違い

• 最終検証日：2026年8月13日
• Methodology バージョン：2026.08.42（訂正）
• 本文中の「2026.08.xx」：その訂正を行った判断基準の版の番号です。公開した版は書き換えず、訂正は新しい版として残しています
• 位置づけ：SILVE の運用方針（Bot × 能力マトリクス）。業界標準の分類ではありません
• 関連記事：7 段階の整理 / 測定の 3 レイヤー

結論から

robots.txt に見慣れない User-agent が増えました。GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Google-Extended、Applebot-Extended。

ここで「AI 検索に出たいなら AI ボットを全部許可すればいい」と考えたくなります。これは誤りです。

「AI ボット」と呼ばれているものには、少なくとも性質の違う 4 つが混ざっています。

★ 「失うもの：なし」と書いていたのを 2026.08.41 で訂正しました。 それは SILVE の検索準備状態に配点しないという意味であって、何も失わないという意味ではありません。 実例が 2 つあります。Google-Extended を拒否すると Gemini の学習だけでなく Gemini Apps と Vertex AI の grounding も同時に止まります。Microsoft の noarchive は学習を断つと同時に Bing Chat の回答からの除外とリンクの停止も伴います。学習の拒否が学習だけを止めるとは限りません。

さらに、そもそもクローラではないものがあります。Google-Extended と Applebot-Extended は robots.txt に書く名前ですが、その名前でサーバーへアクセスしてくるボットは存在しません。 既に取得済みのデータの使い道を制御するトークンです。

したがって問うべきは「AI ボットを許可するか」ではありません。

そのボットが何のためにアクセスしているのか。

SILVE はこれを Bot × 能力マトリクス として持ち、ボットの名前ではなく用途で評価します。

Bot × 能力（Capability）マトリクス

2026 年 8 月 11 日時点で、各社の公式文書を本文まで読んで確認した分類です。

太字は「クローラではない」ものです。△ は「一次資料がそこまでは書いていない」ことを表します。

この表の ○ は「その取得データがその用途に使われうる」という意味です。 その User-Agent 自体が用途を制御するかどうかとは別です（Googlebot は grounding を直接制御するトークンではありませんが、Search インデックス経由で AI Overviews / AI Mode の grounding に使われます）。

以下、根拠を事業者ごとに示します。

OpenAI — 3 系統は用途と制御を分けて扱う

OpenAI は用途をはっきり分けています。

OAI-SearchBot は "surface websites in search results in ChatGPT's search features" のためのクローラです。オプトアウトしたサイトは ChatGPT の検索回答に表示されなくなりますが、ナビゲーションリンクとしては現れ得ると明記されています。

GPTBot は "crawl content that may be used in training our generative AI foundation models"。検索用ではありません。

ChatGPT-User はユーザーが ChatGPT や Custom GPT に質問したときの取得に使われます。OpenAI は "ChatGPT-User is not used for crawling the web in an automatic fashion" と明記し、さらに "Because these actions are initiated by a user, robots.txt rules may not apply" としています。

★ ただし「完全に別系統」とは書きません（2026.08.38 で訂正）。 設定が互いに独立していることは OpenAI 自身の記述ですが、同じ文書は "If your site has allowed both bots, we may use the results from just one crawl for both use cases to avoid duplicative crawling." とも述べています。独立しているのは用途と robots.txt の設定であって、クロールの実装経路まで分離されているとは限りません。 分ける必要があるのは「何に使われるか」であって、取得が物理的に別々に走ることではありません。

「GPTBot を拒否している = AI 検索対策 0 点」は誤り

診断ツールの設計として重要な点です。

User-agent: GPTBot
Disallow: /

これを検出して「AI ボットをブロックしています。大幅減点」とするのは不適切です。

企業には「検索には出たいが、基盤モデルの学習には使わせたくない」という合理的なポリシー選択があり、OpenAI 自身がその 2 つを独立した制御として設計しています。 OAI-SearchBot を許可していれば、検索には参加したまま学習を拒否できます。

SILVE は学習のオプトアウトそのものを減点しません。 これは v1 で実際に犯した誤りで、知財管理が厳格な企業ほど不当に低いスコアが出ていました。

Anthropic — 3 系統。ただし robots.txt の扱いが OpenAI と違う

Anthropic の公式文書は "the three robots that Anthropic uses" として 3 つを挙げています。

ここが OpenAI との重要な差です。 Anthropic は "Anthropic's Bots respect 'do not crawl' signals by honoring industry standard directives in robots.txt" と述べており、Claude-User を含む 3 つすべてについて robots.txt での制御を案内しています。

OpenAI は ChatGPT-User について「ユーザー起点なので robots.txt が適用されない場合がある」としていました。同じ「ユーザー起点取得」でも扱いが違います。

Anthropic は非標準拡張である Crawl-delay も明示的にサポートします。これは普遍的な標準ではなく、Anthropic 固有の対応として扱うべきものです。

Perplexity — 2 系統。学習利用を明示的に否定している

PerplexityBot は "designed to surface and link websites in search results on Perplexity" であり、公式文書に "It is not used to crawl content for AI foundation models" と明記されています。

つまり、

User-agent: PerplexityBot
Disallow: /

は学習のオプトアウトではありません。Perplexity の検索掲載を拒否する設定です。

Perplexity-User はユーザーの質問に応じた取得で、こちらも学習には使われません。そして Perplexity は "generally ignores robots.txt rules" と明言しています。

ユーザー起点取得の扱いは 3 社 3 様

「ユーザー取得系は全部 robots.txt を無視する」とも「全部従う」とも一般化できません。 SILVE がプラットフォーム固有の仕様を他社へ一般化しないのは、こういう食い違いが日常的にあるからです。

Google — 最も誤解されやすい

AI Overviews / AI Mode をクロールするのは Googlebot

Google は AI Overviews と AI Mode を Google Search の一部として位置づけており、公式ガイドは生成 AI 機能について "There are no additional technical requirements." と述べています。前提は通常の検索と同じ、インデックスされていることとスニペットの対象であることです。

したがって「AI Overviews に出たいから Google-Extended を許可する」という説明は誤りです。

ただしクロールの可否だけでは決まらない

「追加の技術要件が無い」は「条件が無い」ではありません（2026.08.42 で追記）。 Google の生成 AI 向け最適化ガイドは、Search の技術要件に加えて、サイトが Search Console で Search generative AI features に含まれている必要があるとしています。

通常の検索結果には影響しません。 また学習にも影響しません（学習の制御は Google-Extended 側）。現在は一部のサイト所有者への段階的な提供です。

この設定はクローラでもトークンでもありません。 用途を制御する第 3 の面があるという意味で、この記事の「4 つの制御」に収まらない例です。詳細はAEO の記事に書いています。

Google-Extended はクローラではない

Google の公式文書はこう書いています。

Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings.

つまり Google-Extended という名前のボットはサーバーに来ません。 既存の Google クローラが取得したコンテンツをどう使ってよいかを制御する robots.txt 上のプロダクトトークンです。

学習だけを制御しているわけでもない

2026 年時点で特に注意が要る点です。Google-Extended が制御するのは、

• Gemini Apps と Vertex AI API for Gemini を支える 将来世代の Gemini モデルの学習
• grounding（プロンプト時に Google 検索インデックスのコンテンツをモデルへ渡すこと）

の両方です。「Google-Extended = Gemini の学習だけ」という説明は現在は不正確です。

そして Google は明確にこう述べています。

Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.

OpenAI ほどきれいに分離できない

OpenAI なら「OAI-SearchBot は許可、GPTBot は拒否」で検索と学習を完全に分けられます。

しかし Google-Extended は学習と一部の grounding を同じトークンで制御しているため、「Gemini の学習には使わせたくないが、Gemini Apps の grounding には使ってほしい」を Google-Extended だけで指定することはできません。

これは設計上の重要な差です。ただし繰り返すと、どちらにしても Google 検索と AI Overviews / AI Mode には影響しません。

Apple — 検索・学習・AI 回答の 3 つを分けられる

Applebot が取得したデータは、Spotlight・Siri・Safari を含む Apple エコシステムの検索技術に使われます。同時に、Apple Intelligence 等の基盤モデルの学習に使われる可能性があると明記されています。

Applebot-Extended は Google-Extended と同じくクローラではありません。Apple の記述は明確です。

Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results. Applebot-Extended is only used to determine how to use the data crawled by the Applebot user agent.

さらに Apple には第 3 の制御があります。nosnippet を使うと、Siri や検索の「広範な世界知識に関する質問」への AI 生成回答の文脈としてコンテンツを使わせないよう指定できます。それでも Applebot による通常の検索での発見可能性は残せます。

ただしこの指定はページ単位です。 Apple は hasPart によるセクション単位の指定をサポートしていないと明記しています。

Microsoft — Bing のインデックスが基盤

Microsoft は AI 回答専用のクローラを別に文書化していません。クロールは Bingbot が行い、生成的な検索の回答は Bing の検索結果に基づくものとして説明されています。

したがって Copilot 系の可視性で最上流にあるのは、Bingbot のクロールとインデックスです。「Copilot 専用のボットを許可する」という構造にはなっていません。

★ 学習の制御が User-Agent ではなく meta directive にある（2026.08.41 で追記）

この記事は以前、Bingbot の行の「学習」を「—」にしていました。誤りです。 Microsoft は取得したコンテンツを生成 AI の基盤モデルの学習に使う経路を持っており、その制御を robots.txt ではなく robots meta タグで行います。

いずれの場合も通常の Bing の検索結果には出ます。

ここが OpenAI との決定的な違いです。 OpenAI は「OAI-SearchBot を許可し、GPTBot を拒否する」で学習と掲載を分離できます。Microsoft では、学習を完全に断つ noarchive が、同時に Bing Chat の回答からの除外とリンクの停止も伴います。

つまり Microsoft では「学習は拒否、AI の回答には出たい」を完全な形では実現できません。 できるのは nocache による部分的な分離（学習に渡るのを URL・題名・スニペットに絞りつつ、回答には残る）までです。

この事例は、この記事の前提そのものを補強します。 見るべきは「ボット名」ではなく「その取得データが何に使われ、どの制御がどの用途に効くか」です。学習専用のボットが存在しなくても、学習の経路と制御は存在します。

Common Crawl — AI 検索クローラではない

CCBot はしばしば「AI クローラ一覧」に入れられますが、役割は公開 Web データセットの作成です。そのデータセットは研究や機械学習を含む多様な用途に使われます。

Common Crawl 自身が基盤モデルを学習しているわけではありません（2026.08.41 で明確化）。 学習に使うかどうかはそのデータセットを利用する第三者次第です。GPTBot や ClaudeBot のように、事業者が自社の学習のために直接取得するものとは性質が違うので、表では △ としています。

しかし「CCBot を許可した = ChatGPT / Claude / Gemini の検索に出やすくなる」とは言えません。 特定プラットフォームの現在の検索クローラとは分けて扱う必要があります。SILVE は CCBot の許可を検索準備状態に加点しません。

Common Crawl 自身が、CCBot を騙るクローラの存在を注意喚起し、User-Agent 文字列の検証を推奨しています。

Meta — 学習と索引が同じボットに入っている

meta-externalagent は "training foundation AI models or improving products by indexing content directly" と説明されています。学習と索引が同じ User-agent に入っているため、OpenAI のようには分離できません。

★ ただし「AI 検索での掲載・引用に使われる」とまでは書かれていません（2026.08.41 で限定）。 公式資料が述べているのは学習と製品改善のためにコンテンツを直接索引することまでで、Meta AI の検索結果に掲載する / 引用するという記述は確認できていません。上の表で ai_search_citation を ○ にしていたのは一次資料より一歩先でした。△ に改めています。

もともと SILVE はこのボットを掲載経路として採点していません（notScoredFor に ai_search_citation を入れている）ので、採点への影響はありません。 直したのは表示上の分類です。

meta-externalfetcher はユーザー要求による個別リンクの取得で、robots.txt を回避し得るとされています。

4 つの制御を混同しない

ここが実務で最も事故が起きる場所です。

★ これは概念上の整理で、各指定の実際の効果は事業者ごとに違います（2026.08.41 で追記）。 Google の nosnippet は AI Overviews / AI Mode への直接の入力も止めます。Apple の nosnippet は AI 生成回答での文脈利用を止めます。Microsoft では noindex / noarchive / nocache が学習と Copilot 利用の両方に独自の意味を持ちます（Microsoft の節を参照）。同じ指定名でも効果は同じではないので、必ず事業者ごとに確認してください。

Google は nosnippet について、"This applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode." と述べています。

robots.txt でブロックしても URL は消えるとは限らない

頻出の誤解です。robots.txt でクロールを禁止すると、Google はそのページのインデックス指示を読めなくなります。 公式文書の表現は次のとおりです。

If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.

つまり外部リンクから URL が発見されれば、内容をクロールしないまま URL だけが扱われることがあります。 検索結果から確実に消したいなら noindex を使い、そのためにはクローラがページへアクセスできる必要があります。 robots.txt でブロックすると noindex は読まれません。

robots.txt はセキュリティ機能ではない

robots.txt は「公開情報へアクセスしてよいか」をクローラへ伝えるプロトコルであり、アクセスを技術的に強制ブロックする仕組みではありません。 守るかどうかはクローラ側に依存します。

機密情報には認証・認可・ネットワーク制御を使ってください。

robots.txt だけ見て終わらない

robots.txt で許可していても、実際には取得できていないことがあります。

• CDN / WAF / Bot Management がブロックしている
• HTTP 403 / 5xx を返している
• meta robots / X-Robots-Tag で別の指示を出している
• JavaScript でしか本文が出ない
• 認証の背後にある

robots.txt が Allow でも、403 を返していればクローラは取得できません。 診断では両方を見る必要があります。

User-Agent だけでボットを判定しない

HTTP の User-Agent は詐称できます。ログ監査で「Googlebot が来ている」と判断する前に、事業者が提供する検証手段と突き合わせる必要があります。

確認できた範囲で、各社は次を公開しています。

• Apple — 逆引き DNS（*.applebot.apple.com）と IP CIDR の JSON。host コマンドでの確認手順まで記載
• Perplexity — PerplexityBot と Perplexity-User それぞれの IP レンジを JSON で公開
• Common Crawl — CCBot を騙る事例があるとして User-Agent 文字列の検証を推奨

「学習は拒否、AI 検索には出たい」は可能か

かなり可能です。ただしプラットフォームごとに違います。

Perplexity の行は、会社全体についての主張ではありません（2026.08.41 で限定）。 公式文書が述べているのは PerplexityBot と Perplexity-User を基盤モデルの学習のための収集に使わないということで、「Perplexity が Web の情報を一切学習に使わない」まではこの文書から言えません。

方針の例を挙げます。ただしこのままコピーしないでください。

# OpenAI — 検索は許可、学習は拒否
User-agent: OAI-SearchBot
Disallow:

User-agent: GPTBot
Disallow: /

# Anthropic — 同上
User-agent: Claude-SearchBot
Disallow:

User-agent: ClaudeBot
Disallow: /

# Google — 検索（AI Overviews / AI Mode を含む）は Googlebot
User-agent: Googlebot
Disallow:

# Gemini の学習と一部 grounding。Google 検索には影響しない
User-agent: Google-Extended
Disallow: /

# Apple — 検索は許可、学習は拒否
User-agent: Applebot
Disallow:

User-agent: Applebot-Extended
Disallow: /

既存の User-agent: * のルール、パス単位の指定、CMS や CDN の設定と組み合わせたときの挙動を必ず確認してください。特に Google-Extended は学習だけでなく一部の grounding にも影響します。

よくある誤り

① AI ボットを全部拒否する — 学習だけでなく ChatGPT / Claude / Perplexity の検索掲載まで同時に拒否することになります。意図が「学習は嫌だが検索には出たい」なら過剰です。

② Google-Extended を Google の AI 検索ボットだと思う — 許可しても AI Overviews に出やすくはならず、拒否しても Google 検索の掲載・ランキングには影響しません。

③ GPTBot を許可すると ChatGPT 検索に出やすくなる — GPTBot は学習用です。掲載を制御するのは OAI-SearchBot です。

④ CCBot を AI 検索ボットとして加点する — 公開データセット用であり、現在の各社の検索掲載との直接の関係は確認できません。

⑤ ユーザー起点取得を検索ボットとして扱う — ChatGPT-User や Claude-User は検索インデックスを作る自動クローラではありません。robots.txt の扱いも各社で違います。

SILVE はどう採点しているか

ボット名ではなく用途で評価します。 実装は src/lib/crawl/robots.ts の CRAWLERS。

診断結果の文言も、この区別に従います。

悪い例

❌ GPTBot がブロックされています。AI 検索での露出が低下します。

SILVE の表示

OpenAI のモデル学習を拒否しています。GPTBot は基盤モデルの学習用で、ChatGPT 検索への掲載は OAI-SearchBot が別に制御します。この設定は減点対象ではありません。

OAI-SearchBot が塞がれている場合は、別の文言になります。

ChatGPT 検索での発見が制限されています。OpenAI は OAI-SearchBot を ChatGPT 検索の掲載制御として使用しています。

まだ確認できていないこと

この記事の分類のうち、一次資料で本文まで確認したのは OpenAI / Anthropic / Perplexity / Google / Apple / Microsoft / Common Crawl / Meta です。

• Bytespider（ByteDance）は未検証です。 公式ドキュメントを探索した範囲では見つけられず、SILVE がこれまで出典として記録していた URL は現在名前解決できません。第三者のクローラ情報サイトは複数ありますが、一次資料ではないため分類の根拠にしません。 未検証のまま表示します
• 各社の仕様はプレビュー・変更中のものを含みます。この記事の最終検証日は 2026 年 8 月 11 日です

まとめ

• 「AI ボット」は単一のカテゴリではありません。 検索・学習・grounding・ユーザー起点取得は別物です
• Google-Extended と Applebot-Extended はクローラではありません。 取得済みデータの使い道を制御するトークンです
• 学習の拒否は検索の拒否ではありません。 OpenAI・Anthropic・Apple では明確に分離でき、Perplexity はそもそも学習に使っていません
• Google は学習と一部 grounding が同じトークンです。 ただし Google 検索と AI Overviews / AI Mode には影響しません
• ユーザー起点取得の robots.txt の扱いは各社で違います。 一般化できません
• robots.txt・noindex・nosnippet・学習トークンは別の制御です。 混同すると意図しない露出の喪失が起きます
• robots.txt はセキュリティ機能ではありません

重要なのは、許可したボットの数ではありません。自社が参加したい体験に必要な用途を、意図せず閉じていないかです。

Policy Record

この記事の判断を、あとから検証できる形で記録したものです。本文の結論（Core Rules）と、SILVE が内部で持つ記録の項目、参照した一次資料が入っています。

Policy Name: Bot × 能力マトリクス Version: Methodology 2026.08.42 Status: SILVE Operational Policy（業界標準の分類ではない） Last Verified: 2026-08-13 実装: src/lib/crawl/robots.ts の CRAWLERS / BotCapability

Capability Types

capability	配点
ai_search_citation	配点対象
model_training	配点しない（拒否も許可も）
assistant_grounding	プラットフォーム別に報告のみ
user_initiated_fetch	分離して扱う。一律採点しない

Rules

1. 学習のオプトアウトのみを理由に減点しない
2. 検索・掲載用のボットが意図せず塞がれている場合のみ、該当プラットフォームの発見の問題として扱う
3. 複数の用途をまとめて制御するトークン（Google-Extended）を単一の分類へ押し込まない
4. クローラではないトークン（Google-Extended / Applebot-Extended）を「クローラ」と呼ばない
5. ユーザー起点取得は一律採点しない。 robots.txt の遵守方法が事業者ごとに違う
6. User-Agent だけでボットの同一性を確定しない
7. robots.txt を、セキュリティ制御・インデックス制御・ランキング制御・普遍的な AI 利用ライセンスとして扱わない
8. 一次資料で本文を確認していない分類は verifiedAt: null のまま公開する

一次資料

• OpenAI — Overview of OpenAI Crawlers：https://developers.openai.com/api/docs/bots
• Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?：https://support.claude.com/en/articles/8896518
• Perplexity — Perplexity Crawlers：https://docs.perplexity.ai/guides/bots
• Google — Google's common crawlers：https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
• Google — Robots Meta Tags Specifications：https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag
• Google — AI features and your website：https://developers.google.com/search/docs/appearance/ai-features
• Apple — About Applebot：https://support.apple.com/en-us/119829
• Microsoft — How Bing delivers search results：https://support.microsoft.com/en-us/bing/how-bing-delivers-search-results
• Common Crawl — Common Crawl - CCBot：https://commoncrawl.org/ccbot
• Meta — Meta Web Crawlers：https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/