Cloudflareを利用しているサイトでは、2026年9月15日までに一度設定を確認しておいた方がよさそうです。
Cloudflareの一次情報を確認すると、9月15日からAIクローラーの扱いが変わること自体は事実です。ただし、「AIがすべて読めなくなる」という理解は正確ではありません。
今回の変更では、AIクローラーを「Search（検索）」「Agent（AIエージェント）」「Training（AI学習）」といった用途ごとに制御します。
そして、特に注意したいのがGooglebotなどの複数用途クローラーまでブロックされる可能性があることです。
GooglebotやBingBotなどは検索だけではなく複数の用途を持つクローラーとして扱われ、Cloudflareでは複数用途の場合、より厳しいルールが適用されます。
そのため、設定によっては検索エンジンのクロールにも影響する可能性があります。
この記事では、9月15日からCloudflareのAIクローラー制御がどう変わるのか、Googlebotがブロックされる可能性がある理由とあわせて整理します。
もくじ
9月15日からCloudflareのAIクローラー制御はどう変わる？
Cloudflareは2026年7月1日、AIクローラーの制御方法を刷新すると発表しました。
これまでの「AIボットを一括でブロックするかどうか」という単純な仕組みから、クローラーの用途を3つに分けて管理する仕組みに変わります。
- Search：コンテンツを検索や回答に利用するために収集・インデックスする用途
- Agent：AIがユーザーの代わりにリアルタイムでページへアクセスする用途
- Training：AIモデルの学習やファインチューニングのためにコンテンツを取得する用途
9月15日以降、新しくCloudflareに追加されるドメインでは、広告が表示されるページに対してAgentとTrainingがデフォルトでブロックされ、Searchは許可されます。
ただし、今回の変更は広告掲載ページだけを見ればいいという話ではありません。
同じ9月15日から、SearchとTrainingなど複数の用途を持つクローラーについても、設定されたルールのうち、より厳しいものが適用されるようになります。
この点が、今回特に注意しておきたいポイントです。
Googlebotもブロックされる可能性がある
今回の変更で特に注意したいのが、Googlebotなどの複数用途クローラーです。
Googlebot、Applebot、BingBotなどは、検索結果に表示するためのクロールだけでなく、複数の用途で利用されるクローラーとして扱われます。
Cloudflareでは、ひとつのクローラーが複数の用途を持つ場合、該当する用途のうち、もっとも制限の厳しいルールが適用されます。
たとえば、
- Search：許可
- Training：ブロック
という設定だったとしても、そのクローラーがSearchとTrainingの両方に該当する場合、Training側の「ブロック」が優先されます。
つまり、Trainingをブロックする設定にしていると、Search目的でアクセスしているGooglebotまで巻き込まれてブロックされる可能性があります。
そのため、「Searchは許可されているから検索には影響しない」とは言い切れません。
Googlebotがブロックされれば、Googleがページをクロールできなくなり、新しいページの発見や既存ページの更新内容が検索エンジンに伝わりにくくなる可能性があります。
すでにインデックスされているページがすぐに検索結果から消えるという話ではありませんが、AI学習を止めるための設定が、意図せず検索エンジンのクロールにも影響する可能性があることは押さえておきたいポイントです。
「AIを全部ブロックする変更」ではない
今回の変更について、「9月15日からCloudflareを使っているサイトはAIに読まれなくなる」といった説明も見かけますが、これは正確ではありません。
9月15日から適用される新しいデフォルト設定では、広告が表示されるページに対してAgentとTrainingをブロックし、Searchは許可されます。
対象となるのは主に、
- 新しくCloudflareを利用するサイト
- 既存ユーザーが新しくCloudflareに追加するサイト
- 9月15日までに設定を変更していない既存の無料プラン利用サイト
です。
つまり、Cloudflareを利用しているすべてのサイトで、すべてのAIクローラーが一律にブロックされるわけではありません。
ただし、同じ9月15日から、複数用途クローラーの扱いも変わります。
これは新しいデフォルト設定とは別の変更で、広告の有無や無料・有料プランを問わず、Trainingをブロックする設定にしているサイトに影響します。
そのため、「自分のサイトは広告を掲載していないから関係ない」と単純に考えるのも注意が必要です。
重要なのは、AIをすべて許可するか、すべてブロックするかではなく、現在の設定と、それによってどのクローラーが影響を受けるのかを確認することです。
特に無料プランのまま設定を変更していないサイトでは、9月15日までに一度確認しておいた方がよいでしょう。
Cloudflare利用サイトが9月15日までに確認すること
Cloudflareを利用しているサイトでは、9月15日までに現在の設定を確認しておきましょう。
慌ててAIクローラーをすべて許可したり、逆にすべてブロックしたりする必要はありません。確認したいポイントは主に3つです。
① 現在のAIクローラー設定を確認する
Cloudflareのダッシュボードで対象ドメインを選択し、AIクローラーに関する設定を確認します。
現在は、Search・Agent・Trainingそれぞれについて、
- すべてのページでブロック
- 広告が表示されるページのみブロック
- 許可
といった設定ができます。
特に確認したいのがTrainingの設定です。
Trainingをブロックしている場合、9月15日以降はGooglebotなどの複数用途クローラーにも、より厳しいルールが適用されます。
② 利用プランと設定状況を確認する
既存の無料プラン利用サイトで、9月15日までに設定を変更していない場合は、新しいデフォルト設定が適用されます。
一方、すでに設定を変更している場合は、その設定内容も確認しておきましょう。
また、有料プランであってもTrainingをブロックしている場合は、複数用途クローラーのルール変更による影響を受ける可能性があります。
そのため、「有料プランだから関係ない」「広告を掲載していないから関係ない」と判断するのは早計です。
③ サイトの目的に合わせて判断する
AIクローラーへの対応に、すべてのサイトで共通する正解があるわけではありません。
たとえば、
- 検索エンジンからの流入を重視するなら、Googlebotなど複数用途クローラーがどのように扱われるか確認する
- AIモデルの学習にコンテンツを利用されたくないなら、Trainingをブロックする
- ユーザーの依頼によるAIエージェントのリアルタイムアクセスを許可したいなら、Agentを許可する
といった判断が考えられます。
重要なのは、「AIだから全部ブロック」「検索への影響が怖いから全部許可」と単純に決めないことです。
Search・Agent・Trainingの違いと、複数用途クローラーへの影響を理解したうえで、自分のサイトに合った設定を選びましょう。
放置せず設定だけは確認しよう
今回の変更は、「AIクローラーをすべて締め出す」という話ではありません。Cloudflareは、Search・Agent・Trainingという3つの用途ごとに、サイト側が細かく制御できる仕組みを用意したものです。
ただし、9月15日から適用される新しいデフォルト設定と、複数用途クローラーへのルール適用は、それぞれ別の変更として同時に動き出します。
特にTrainingをブロックしている場合、意図せずGooglebotなどの検索クローラーまで影響を受ける可能性がある点は、無料・有料プランを問わず押さえておく必要があります。
「AIだから全部ブロック」「怖いから全部許可」ではなく、まずは今の設定がどうなっているかを確認すること。
それが、9月15日までにできる一番確実な対応です。
