診断の前提
AI クローラーの一覧
診断が見ている AI クローラーです。用途の分類・その根拠にした一次資料・最後に内容を確認した日を公開しています。分類は診断の結果に直接効くので、判断だけでなく根拠まで見えるようにしています。
全 18 種 ・ うち診断で数えるのは 6 種
診断が数えるのが 6 種なのはなぜか
- 1. 一覧に載せるのは、一次資料に当たって調べたものだけです（現在 18 種）。調べていないものは載せません。
- 2. そのうち「AI 検索での掲載・引用」の用途を持つのが 7 種です。
- 3. そこから、拒否の意味が一意に読めないものを外して 6 種になります。
外しているもの
- meta-externalagentMeta学習と、コンテンツを直接索引する製品改善の両方に使われる。OpenAI のように用途を分離できないため、ブロックを掲載経路の遮断として減点しない。
★ この一覧が、世に存在する AI クローラーのすべてだとは書けません。 私たちが一次資料に当たって用途を確認できた範囲です。「まだ調べていない」ものと「調べたが確定できなかった」ものを区別するため、後者は「未確定」として一覧に残しています。
AI 検索での掲載・引用7 種
そのプラットフォームの AI 回答に掲載・引用される経路です。塞ぐと、そこには出なくなります。
- OAI-SearchBotOpenAI診断で数える確認済み2026-08-11 確認
ChatGPT の検索結果に掲載されるための経路。学習には使われない。
一次資料 → - GooglebotGoogle診断で数える確認済み2026-08-11 確認
AI Overviews / AI Mode は Google Search のインデックス経由。制御はここ。
一次資料 → - Claude-SearchBotAnthropic診断で数える確認済み2026-08-11 確認
検索結果の品質向上のための索引。拒否すると Claude の検索での可視性が下がり得る。
一次資料 → - PerplexityBotPerplexity診断で数える確認済み2026-08-11 確認
検索結果での表示・リンク用。公式に「基盤モデルの学習には使わない」と明記されているため、ブロックは学習の拒否ではなく掲載の拒否になる。
一次資料 → - BingbotMicrosoft診断で数える確認済み2026-08-13 確認
この User-agent の用途: AI 検索での掲載・引用 / アシスタントの参照 / モデルの学習
Microsoft は AI 回答専用のクローラーを文書化していない。生成的な検索の回答は Bing の検索結果に基づく。学習の制御は User-Agent ではなく robots meta タグで行う: noarchive は学習に使わない一方で Bing Chat の回答からも除外されリンクもされない、nocache は URL・題名・スニペットのみが学習に使われ回答には残る。いずれも通常の検索結果には出る。したがって Microsoft では「学習は拒否、AI の回答には出たい」を完全な形では実現できない。
一次資料 → - ApplebotApple診断で数える確認済み2026-08-11 確認
この User-agent の用途: AI 検索での掲載・引用 / アシスタントの参照
Spotlight / Siri / Safari の検索を支える。取得データは学習にも使われ得るが、学習の可否は Applebot-Extended が制御する。AI 回答の文脈利用は nosnippet で別に拒否できる（ページ単位のみ。hasPart は非対応）。
一次資料 → - meta-externalagentMeta診断では数えない確認済み2026-08-11 確認
この User-agent の用途: モデルの学習 / AI 検索での掲載・引用
学習と、コンテンツを直接索引する製品改善の両方に使われる。OpenAI のように用途を分離できないため、ブロックを掲載経路の遮断として減点しない。
一次資料 →
アシスタントの参照3 種
アシスタントが回答するときに参照する経路です。掲載経路とは別系統で、片方だけを塞ぐことがあります。
- Google-ExtendedGoogle確認済み2026-08-11 確認
この User-agent の用途: モデルの学習 / アシスタントの参照
Gemini の学習と Gemini Apps / Vertex AI の grounding を制御する。Google Search への掲載・ランキングには影響しない。
一次資料 → - BingbotMicrosoft確認済み2026-08-13 確認
この User-agent の用途: AI 検索での掲載・引用 / アシスタントの参照 / モデルの学習
Microsoft は AI 回答専用のクローラーを文書化していない。生成的な検索の回答は Bing の検索結果に基づく。学習の制御は User-Agent ではなく robots meta タグで行う: noarchive は学習に使わない一方で Bing Chat の回答からも除外されリンクもされない、nocache は URL・題名・スニペットのみが学習に使われ回答には残る。いずれも通常の検索結果には出る。したがって Microsoft では「学習は拒否、AI の回答には出たい」を完全な形では実現できない。
一次資料 → - ApplebotApple確認済み2026-08-11 確認
この User-agent の用途: AI 検索での掲載・引用 / アシスタントの参照
Spotlight / Siri / Safari の検索を支える。取得データは学習にも使われ得るが、学習の可否は Applebot-Extended が制御する。AI 回答の文脈利用は nosnippet で別に拒否できる（ページ単位のみ。hasPart は非対応）。
一次資料 →
モデルの学習8 種
基盤モデルの学習データの収集です。塞ぐことは正当な知財ポリシーであり、診断では減点しません。
- GPTBotOpenAI確認済み2026-08-11 確認
基盤モデルの学習用。ブロックしても ChatGPT 検索への掲載可否には影響しない。
一次資料 → - Google-ExtendedGoogle確認済み2026-08-11 確認
この User-agent の用途: モデルの学習 / アシスタントの参照
Gemini の学習と Gemini Apps / Vertex AI の grounding を制御する。Google Search への掲載・ランキングには影響しない。
一次資料 → - ClaudeBotAnthropic確認済み2026-08-11 確認
学習候補データの収集。拒否は将来の学習データセットからの除外を意味し、検索掲載とは無関係。
一次資料 → - BingbotMicrosoft確認済み2026-08-13 確認
この User-agent の用途: AI 検索での掲載・引用 / アシスタントの参照 / モデルの学習
Microsoft は AI 回答専用のクローラーを文書化していない。生成的な検索の回答は Bing の検索結果に基づく。学習の制御は User-Agent ではなく robots meta タグで行う: noarchive は学習に使わない一方で Bing Chat の回答からも除外されリンクもされない、nocache は URL・題名・スニペットのみが学習に使われ回答には残る。いずれも通常の検索結果には出る。したがって Microsoft では「学習は拒否、AI の回答には出たい」を完全な形では実現できない。
一次資料 → - Applebot-ExtendedApple確認済み2026-08-11 確認
クローラーではない。Applebot が取得したデータを学習に使ってよいかだけを決める。拒否したページも検索結果には含まれ得る。
一次資料 → - CCBotCommon Crawl確認済み2026-08-11 確認
公開データセットの作成用。特定プラットフォームの現在の検索掲載との関係は確認できないため、検索準備状態に加点しない。同組織は CCBot を騙るクローラーへの注意を明記している。
一次資料 → - meta-externalagentMeta確認済み2026-08-11 確認
この User-agent の用途: モデルの学習 / AI 検索での掲載・引用
学習と、コンテンツを直接索引する製品改善の両方に使われる。OpenAI のように用途を分離できないため、ブロックを掲載経路の遮断として減点しない。
一次資料 → - BytespiderByteDance未確定一次資料での確認が済んでいません
未確定。 公式ドキュメントを複数経路で探索したが確認できていない。未調査ではなく、調査して確定できなかった。 分類は暫定。
一次資料が見つかっていません。
ユーザー操作による取得4 種
利用者の操作を起点とした単発の取得です。継続的なクロールではありません。
- ChatGPT-UserOpenAI確認済み2026-08-11 確認
ユーザーの操作や Custom GPT からの単発取得。掲載可否を決めるものではない。
一次資料 → - Claude-UserAnthropic確認済み2026-08-11 確認
ユーザーの質問に応じた取得。Anthropic は 3 ボットすべてが robots.txt を尊重するとしており、Crawl-delay も明示的にサポートする。
一次資料 → - Perplexity-UserPerplexity確認済み2026-08-11 確認
ユーザー起点の取得。Perplexity は robots.txt を一般に無視すると明言している。学習には使われない。
一次資料 → - meta-externalfetcherMeta確認済み2026-08-11 確認
ユーザー要求による個別リンクの取得。robots.txt を回避し得るとされている。
一次資料 →
現行の公式文書に記載が無いもの1 種
robots.txt に書かれたまま残っていることがある User-agent です。 「過去に案内されていた」とは書きません —— 確認できるのは「現在の公式文書に含まれていない」ことだけだからです。
- anthropic-ai (現行文書に記載なし)Anthropic2026-08-11 確認
Anthropic の現行ドキュメントは 3 つのボットのみを記載しており、この UA は含まれていない。許可・拒否のどちらでも現在の挙動には影響しないと考えられる。
一次資料 →
用途を 1 つのカテゴリにまとめない理由
「AI クローラー」を単一のカテゴリとして扱うと、判断を誤ります。 たとえば OpenAI は掲載（OAI-SearchBot）と学習（GPTBot）を独立した設定として扱いますが、Meta は同じ User-agent に両方が同居しており、分けられません。「学習は断りたいが、AI の回答には出たい」が実現できるかどうかは、提供元によって違います。
学習の拒否を、診断では減点しません。 知的財産の方針として正当な判断だからです。この一覧に学習用のクローラーも載せているのは、意図してそうなっているのか、* の規則で結果的にそうなっているのかを確かめられるようにするためです。
診断がこの分類をどう使うかは 評価基準に、SILVE 自身のクローラー（SilveBot）については SILVE とはに書いています。