サイトを直す122026/8/27
robots.txt は、誰が書いているのか — 観測が正しくても、直し方は変わる
robots.txt に何が書いてあるかは読めば分かりますが、どこを直せば書き換わるかは、そのファイルを誰が生成しているかで変わります。観測と改善手順は別の証拠問題であることを、Cloudflare の Bot Preference Sync と RFC 9309 から整理します(SILVE の運用方針。業界標準ではありません)
海外の一次情報を全文翻訳ではなく「要約+独自解説+日本企業への示唆」の形でまとめています。
各行の左の数字は、判断基準を読む順番です。順路に入っていない記事には付きません。
用語・診断基準の記事は一続きの判断基準として書いています。はじめての方は 判断基準を読む順番 から、どの記事がどの問いに答えるのかを見てください。
何を知りたいですかいま直せることを知りたい測り方の考え方を知りたいAI 検索に出ない理由を知りたい施策の効果を確かめたい診断していない領域を知りたい
3 件 / いま直せることを知りたい条件をクリア
サイトを直す122026/8/27
robots.txt に何が書いてあるかは読めば分かりますが、どこを直せば書き換わるかは、そのファイルを誰が生成しているかで変わります。観測と改善手順は別の証拠問題であることを、Cloudflare の Bot Preference Sync と RFC 9309 から整理します(SILVE の運用方針。業界標準ではありません)
サイトを直す172026/8/11 ・ SILVE 編集部
AI エージェントがサイトを「使える」とはどういう状態か。セマンティック HTML・アクセシビリティツリー・WebMCP を公式資料から整理し、AI 検索のランキング要因と混同しないための線を引きます(SILVE の操作モデル。業界標準ではありません)
サイトを直す112026/8/11 ・ SILVE 編集部
GPTBot・OAI-SearchBot・ClaudeBot・Google-Extended などを名前ではなく用途(検索 / 学習 / grounding / ユーザー起点取得)で分類し、各社の公式文書からrobots.txt の正しい考え方を整理します