「うちはAIをブロックなんてしてませんよ」
「そもそもrobots.txtって、業者が触るところでしょう」
多くの経営者がそう答えます。でも2026年9月現在、正しくは「あなたがブロックしていなくても、インフラ側が勝手にブロックし始めている」です。
9月15日、CDN大手のCloudflareが、新しく預かるドメインについてAIクローラーの扱いのデフォルト設定を変更します。方向はひとつ、「原則ブロック寄り」。同時にGoogleは8月31日、Search Consoleの「生成AIパフォーマンス」レポートを全世界の全サイトへ開放しました。つまり今月から、「AIに読まれない設定が標準になる」と「AIに読まれているか測れる」が同時に起きているわけです。
ChatGPT・Gemini・Perplexity・Claudeに自社が出てこない理由が、コンテンツの質ではなく設定だった——そんな会社が、これから確実に増えます。今週やるべき点検を5つに整理します。
1. 9月15日、「遮断」は設定した人だけの話ではなくなる
何が起きたか。 Cloudflareは2026年7月、AIボットを「Search（検索インデックス）／Agent（AIアシスタントのリアルタイム取得）／Training（学習用の大量収集）」の3用途に分類し、用途ごとに個別制御できる仕組みを打ち出しました。そして9月15日から、新規にオンボードされるドメインについて、広告を掲載しているページではTraining／Agentをデフォルトでブロック、Searchは許可、という新しい既定値の適用が始まります。
中小企業の実務でどう効くか。 対象は「新規ドメイン・広告掲載ページ」に限定されているので、既存サイトが9月15日に突然消えるわけではありません。落ち着いてください。効いてくるのはその先です。
- 業界の既定値が「AIには渡さない」側へ動いた。今後リニューアルや移設で新ドメインを立てると、何もしていないのにAI側から見えない状態でスタートする可能性がある
- Cloudflareは複数用途を兼ねるクローラーには「最も厳しいルールを適用する」方針。GooglebotやBingbotのように検索と学習を兼ねるボットが巻き込まれる余地がある
- 同じ思想の設定は、レンタルサーバーのWAF、セキュリティ系WordPressプラグイン、社外のWeb業者の「標準設定」にも波及していく
やること。 リニューアル・サーバー移設の見積もりを取っている会社は、仕様書に一行入れてください。「AI検索クローラー（OAI-SearchBot、PerplexityBot等）は許可すること」。これだけで数年分の機会損失を防げます。
2. AIクローラーは3種類。「学習は断る、検索は通す」が書き分けられる
何が起きたか。 「AIに読ませる／読ませない」は、もはやオール・オア・ナッシングではありません。主要AIボットは役割で3つに分かれます。
- 学習用：GPTBot、ClaudeBot、CCBot、Bytespider など。モデルの事前学習用にデータを大量収集する
- 検索用：OAI-SearchBot、PerplexityBot、Claude-SearchBot など。AI検索の回答にサイトを引用するために巡回する
- ユーザー操作起点：ChatGPT-User、Perplexity-User など。利用者が「このURL読んで」と指示したときに取りに行く
中小企業の実務でどう使えるか。 ここが最重要ポイントです。GPTBotとOAI-SearchBotは別物。GPTBotをブロックしてもOAI-SearchBotが許可されていれば、ChatGPTの検索結果には引用されます。逆に「AI対策」としてまとめてブロックすると、学習を断ったつもりでAI検索からの集客ごと消える。
自社の商材が「独自ノウハウの塊」なら学習用を断る判断は合理的です。一方、AI検索から問い合わせを取りたい会社（＝ほとんどの中小企業）は、検索用は必ず通す。この線引きを、感覚ではなく用途名で決めてください。
注意点。 Perplexityの公式ドキュメントは、ユーザー操作起点のPerplexity-Userについて「原則としてrobots.txtに従わない」と明記しています。robots.txtは"お願い"であって"壁"ではない。技術的に止めたいならCDN／WAF側の制御が必要、という前提は押さえておきましょう。
3. 8月31日、「AIに何回出たか」が全サイトで見えるようになった
何が起きたか。 Googleは2026年8月31日、Search Consoleの「生成AIパフォーマンス」レポートを全世界の全サイトへ展開完了しました。2026年6月3日に英国の一部サイトで始まった機能が、約3ヶ月で全開放されたかたちです。
見られるのは、AI Overviews・AIモード・DiscoverのAI機能における表示回数（インプレッション）と、ページ（URL）別・国別・デバイス別・日付別の内訳。あわせて「AI機能での表示だけを拒否する」オプトアウト設定も追加されました。
中小企業の実務でどう使えるか。 これまでAIO（AI最適化）は「やった気になるだけ」の施策になりがちでした。理由は単純で、効果が測れなかったからです。それが今月、公式データで測れるようになった。
ただし限界も正確に押さえてください。クリック数とクエリ（検索語句）は現時点で含まれません。データの遡及もなく、蓄積は2026年5月18日以降分から。つまり「表示回数の増減トレンド」と「どのページがAIに拾われているか」までは分かるが、「そこから何人来て何件成約したか」は分からない。ここはGA4の参照元データと突き合わせて初めて経営判断に使えます。
やること。 Search Consoleを開いて「生成AI」レポートの表示回数上位10ページをメモしてください。そのページ群が、自社が売りたい商品・サービスのページと一致していますか。ズレていたら、AIが拾っているのは自社の"稼ぎ頭"ではありません。
4. どのボットを通し、どれを止めるか——用途別の判断早見表
自社の方針を決めるための対応表です。「全部ブロック」も「全部許可」も、2026年の答えではありません。
| 用途区分 | 代表的なボット名 | 止めると失うもの | 中小企業の推奨スタンス |
|---|---|---|---|
| AI検索（引用） | OAI-SearchBot / PerplexityBot / Claude-SearchBot | ChatGPT・Perplexityの回答からの流入と指名認知 | 許可（集客の生命線。ここを止める理由はほぼない） |
| 従来型検索 | Googlebot / Bingbot | Google・Bingの検索結果そのもの | 許可（絶対に止めない） |
| 学習（事前学習） | GPTBot / ClaudeBot / CCBot / Bytespider | モデルへの取り込み（短期の流入影響は小さい） | 選択（独自ノウハウ・有料コンテンツ中心なら遮断も可） |
| ユーザー操作起点 | ChatGPT-User / Perplexity-User | 顧客が「このページ読んで」と指示した時の閲覧 | 許可（見込み客本人の行動。止める意味がない） |
| 用途不明・海外系 | 不明なUA、負荷の高い無名クローラー | ほぼ何も失わない | 遮断（サーバー負荷とセキュリティの観点で） |
判断軸はシンプルです。「引用されて客が来る導線」は通す。「タダで持っていかれるだけの経路」は絞る。
5. 今週やる5ステップ点検（所要30分）
抽象論で終わらせないために、手順に落とします。社内の担当者にそのまま渡せる形にしました。
- ① robots.txtを開く：「自社ドメイン/robots.txt」をブラウザで直接開く。「Disallow: /」が全体にかかっていないか、GPTBotやOAI-SearchBotの記述があるかを目視確認
- ② Search Consoleの「生成AI」レポートを見る：表示回数が0のまま横ばいなら、遮断されているか、そもそも引用対象になっていない。上位ページと売りたいページのズレを確認
- ③ CDN／WAFの管理画面を見る：Cloudflare等を使っているなら「AI Crawl Control」相当のボット制御設定を確認。Training／Agent／Searchの3分類がどう設定されているか
- ④ サーバー会社・Web業者に一通メールを出す：「AI関連クローラーのブロック設定が入っていますか。入っている場合、対象ボット名を教えてください」。返答が来ない・要領を得ないなら、それ自体が判断材料です
- ⑤ 方針を1行で決めて記録する：「学習用は遮断、AI検索用は全許可」など。決めた内容を社内文書に残す。担当者が変わっても引き継がれるように
まとめ：経営者が今週決めること
2026年9月、AI集客の勝敗は「良い記事を書いたか」より一段手前、「そもそもAIに読ませているか」で先に決まり始めています。robots.txtとCDN設定は、もはやIT担当の技術論ではなく、販路をひとつ開けるか閉めるかの経営判断です。
決めることは1つ。「学習用は自社の判断、AI検索用は全許可」を今週書面にして、Web業者と共有する。 30分の点検で、来年の問い合わせ件数が変わります。
Green Villageからのご案内
「自社サイトがAIに読まれているか分からない」「業者に聞いても要領を得ない」——そんな段階でのご相談を多くいただいています。Green Villageでは、AI最適化ホームページ制作・AIO（AI検索最適化）診断、サーバーのセキュリティ診断・移設、そしてデジタル化AI導入補助金2026・リスキリング助成金を使った費用負担の圧縮まで、一気通貫でご支援しています。まずは現状の点検からでも、お気軽にご相談ください。
出典
- Cloudflare、広告掲載ページではクローラーの学習・エージェント利用をブロックする設定がデフォルトに（CodeZine）
- Cloudflare、AIボットによるコンテンツ利用の用途別制御機能と、エージェントによるWebリソース利用への課金基盤を発表（gihyo.jp）
- 生成 AI パフォーマンス レポート（検索）- Search Console ヘルプ
- Search Console「生成AIパフォーマンス」レポートが全世界展開完了（neworder inc.）
- robots.txtでAIクローラーを許可すべきか。GPTBot・OAI-SearchBot・ClaudeBotの判断基準
- IETF setting standards for AI preferences（AIPREF WG）
