CDNへの移行直後にクロールが急増する理由 Googleが説明した注意点と対策
Googleは2026年11月11日、サイトをCDNに移したあとにクロールが急に増える理由と、ボット対策でGoogleのクローラーを止めてしまう危険を説明しました。会社のサイトでCDNを入れる前と後に確かめることを整理します。
執筆・編集:Laugh Mind 編集部 編集方針
Googleは2026年11月11日、検索セントラルのブログで、サイトをCDN(世界各地のサーバーからページを配る仕組み)に移した直後に、Googleのクローラー(サイトを読みに来るプログラム)からのアクセスが増えることがある理由と、その対処を説明しました。会社のサイトで気をつけたいのは、アクセスの急増に驚いて、CDNやWAF(不正なアクセスを防ぐ仕組み)のボット対策を一律にかけてしまうことです。確認済みのクローラーを除外しないままにすると、Googleのクローラーが止まり、ページが検索結果から外れ始めるおそれがあると、Googleは書いています。
発表の内容
ブログの題名は「オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する」です。Googleの動画シリーズ「The Non-Canonical Cabinet」の第5回でも、同じ話を扱っています。新しい決まりや仕組みの変更の発表ではなく、CDNへの移行で起きやすいことの説明です。
Googleが挙げた流れは、次のとおりです。
- Googleのクローラーは、サーバーの応答の速さと安定を見て、クロールの量の上限(クロール容量の制限)を決めている。応答が遅くなると減らし、速く安定していれば、クロールの需要がある限り、少しずつ上げる。
- CDNに切り替えると応答が速くなるため、Googleのシステムからは、サーバーが大きく強化されたように見え、クロールの量を上げ始める。
- ただし、新しいCDNのキャッシュ(各地のサーバー〔エッジ〕に置く控え)は最初は空で、そのエッジにまだ控えのないURLへの最初のリクエストは、元のサーバー(オリジン)まで取りに行く。エッジは取ってきた応答のうち控えに置けるものを保存し、同じキャッシュにある同じURLへの後続のリクエストだけが、オリジンに行かずに控えで返せる。別のエッジに控えがなければ、そこからはまたオリジンに取りに行く。
- 人の訪問は人気のある少しのページに集まるので、控えがすぐにそろう。一方、クローラーはサイトの多くのURLを順に読むので、控えのないURLへのリクエストが、そのままオリジンに届く。
どのファイルを控えに置くかは、CDNの種類や設定、オリジンが返すキャッシュの指定で決まります。たとえばCloudflareは、初期設定ではHTMLやJSONを控えに置かないと説明しています(CDNごとに初期設定は違います)。ページを一度開いただけで、HTMLの控えができたとは限りません。
Googleは、クローラーがすぐにクロールの量を上げるわけではなく、多くのCDNには急な増加をならす仕組みもある、とも書いています。それでも、控えがそろうまでは、CDNがオリジンを守る役目を十分に果たせない、という説明です。
何が変わるのか:ボット対策のかけ方に注意
Googleがとくに注意しているのは、アクセスの急増を見て、CDNの管理画面でボット対策を一律に有効にすることです。CDNやWAFが自動のアクセスを見分けて、CAPTCHA(人かどうかを確かめる問題)などの確認の画面を出すと、Googleのクローラーは通れません。ブログでは、確認済みのクローラーを除外しないまま一律のボット対策を続けると、Googleからはサイトが意図的に制限されているか壊れているように見え、クローラーはアクセスを控え、ページなどが検索結果から外れ始める、と説明しています。
Googleの「HTTP ステータス コード」の文書でも、403(アクセス禁止)などの4xxを返すURLは、内容が使われず、すでにインデックスに登録されていればインデックスから削除される、とされています(429は別の扱い)。また、401と403はクロールの頻度を下げる目的に使わないよう書かれています。
AIによる概要・AIモードについても、Googleは「クロールが robots.txt に加え、CDN またはホスティング インフラストラクチャで許可されていることを確認します」としています。CDNやWAFの設定は、Google検索の通常の結果だけでなく、こうした機能に出るための前提にもかかわります。一律のボット対策は、ChatGPTなどほかのAIのクローラーにもかかることがあるので、各社の説明もあわせて確かめます(AIのクローラーが読めているかの確かめ方)。
Googleが挙げた3つの対策
ブログが挙げた対策は、次の3つです。
- ボットを止める必要がある場合は、確認済みのボットを許可する:主なCDNやWAFには、既知のボット・確認済みのボットを許可する切り替えや管理されたルールがある、とGoogleは書いています。Googleのクローラーは、Googleが公開しているIPアドレスの範囲で見分けられます。すべての自動のアクセスを止めるのではなく、robots.txt やルールで、止めたい特定のボットだけを対象にするよう勧めています。
- 切り替える前にキャッシュを温めておく:すべてのアクセスを新しいCDNに流す前に、アクセスの多いページ、これからアクセスが増えるページ(キャンペーンや季節のページなど)、よくクロールされるURLを、CDN経由で、ペースを抑えて取得しておく方法です。HTMLなどが控えに置かれる設定になっているかは、使っているCDNの仕様と設定で先に確かめます。
- 一時的に止める必要があれば 429 か 503 を返す:控えがそろうまでの間に、クロールがオリジンに重大な負荷をかけている場合は、サーバーやCDNのレート制限のルールで、短い間(数時間、長くても1〜2日)、429 か 503 を返します。
3について、Googleの「Google のクロール頻度を下げる」の文書は、次の点も書いています。
- 500・503・429 を返すURLが多いと、エラーを返したURLだけでなく、ホスト名全体(例:
www.example.com)のクロールの頻度が下がる。エラーが減ると、自動で戻る。 - 503 か 429 のときは、
Retry-Afterヘッダーで、再び取りに来てよい時期を示せる。 - クロールの頻度を下げると、新しいページが見つかりにくくなる、既存のページの更新が反映されるまで長くなる、削除したページがインデックスに残る時間が長くなる、といった影響が広く出る。Google広告の広告が表示されなくなることもある。
- 1〜2日では済まない長い期間には勧めない。同じURLで数日にわたってこれらのコードが続くと、インデックスから削除される場合がある。
- エラーを返しにくい環境では、特別なリクエストでクロールの頻度が異常に高いことを報告できる(頻度を上げる依頼はできず、処理まで数日かかることがある)。
会社のサイトでやること
CDNを使う予定がない会社のサイトは、今回のために変えることはありません。CDNを使っている、またはサーバーの引っ越しやリニューアルでCDNを入れる予定があるなら、次を確かめます。Laugh Mindでは、次のように整理しています。
- CDN・WAFのボット対策の設定を見て、一律に確認の画面を出す設定になっていないか、確認済みのボットを許可する設定があるかを確かめる(制作会社やサーバーの管理者に設定を任せているときは、そちらに確認する)
- 許可のルールを自分で作るときは、名乗り(User-Agent)だけで判断せず、本当にGoogleからのアクセスかを確かめる。Googleが案内する方法は2つで、アクセス元のIPアドレスをGoogleが公開しているIPアドレスの範囲の一覧と照らすか、IPアドレスを逆引き(リバースDNS)して
googlebot.com・google.com・googleusercontent.comのどれかであることを確かめ、さらにその名前を正引きして元のIPアドレスと一致するかを見る(逆引きだけで終えない)。自分で設定しないときは、この確かめ方を制作会社やサーバーの管理者に頼む - 切り替える前に、HTMLなどが控えに置かれる設定か、実際に控えから返っているかを、使っているCDNの仕様と設定に沿って管理者に確かめる(CDNによっては、初期設定ではHTMLを控えに置かない)
- そのうえで、トップページ、主なサービスのページ、キャンペーンのページなど、アクセスやクロールの多いURLを、CDN経由で、ペースを抑えて読み込んでおく
- 切り替えのあとは、Search Consoleの「クロールの統計情報」レポートで、リクエストの数、平均レスポンス時間、ホストのステータス、レスポンスの種類(403 や 5xx が増えていないか)を見る(このレポートは、ドメイン プロパティか、ルートの URL プレフィックス プロパティでだけ使える)
- クロールがオリジンに重大な負荷をかけていて、一時的に抑える必要があるときだけ、短い間(数時間、長くても1〜2日)429 か 503 を返し、要らなくなったら外す。同じURLで数日にわたって続くと、そのURLがインデックスから削除される場合がある
- クロールの頻度を下げるために 401・403 は使わない(429 を除く4xxは頻度に影響しない)。403 など、429 を除く4xxを返したURLは、登録済みでもインデックスから削除される
なお、Googleのクロール バジェットのガイドは、主に、重複のないページが100万以上で週に1回ほど更新されるサイトや、1万以上で毎日更新されるサイト(または、URLの大部分が「検出 - インデックス未登録」のサイト)を対象にしています。ただし、今回のブログは、クロールの増加が起きるサイトの規模を限っていません。サーバーの性能に余裕がないときは、切り替えのあとのオリジンの負荷も見ておきます。また、ボット対策でGoogleのクローラーを止めてしまう問題は、サイトの規模とは関係なく起こりえます。サーバーの引っ越しを伴うリニューアルでは、URLの転送とあわせて確かめておくと安心です(サイトリニューアルのSEO:URLの転送の手順)。
まとめ
- Googleは2026年11月11日、CDNへの移行直後にクロールが増えることがある理由を説明した。応答が速くなるとクロールの量が少しずつ上がり、空のキャッシュでは初めてのURLへのリクエストが元のサーバーに届く。
- 急増を見て一律のボット対策をかけると、Googleのクローラーも止まり、ページが検索結果から外れ始めるおそれがある。止めるなら、確認済みのボットを許可する。
- 切り替え前にアクセスやクロールの多いURLのキャッシュを温めておき、どうしても負荷が大きいときだけ、短い間(数時間、長くても1〜2日)429 か 503 を返す。長く続けるとインデックスから外れる場合がある。
- 切り替えのあとは、Search Consoleのクロールの統計情報で、403 や 5xx、平均レスポンス時間の変化を見る。
CDNやサーバーの設定が、検索やAIの回答での見え方に影響していないかを確かめたいときは、AIO SCORE 100の初回診断(無料)でもご相談いただけます(AIO・LLMOソリューション)。
参考・出典
- Google 検索セントラル ブログ「オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する」 ↗
- Google「Google のクロール頻度を下げる」 ↗
- Google「HTTP ステータス コード、ネットワーク エラー、DNS エラーが Google のクローラーに及ぼす影響」 ↗
- Google「Google のクローラーとフェッチャーからのリクエストを確認する」 ↗
- Google「クロール バジェットを最適化する」 ↗
- Search Console ヘルプ「クロールの統計情報レポート」 ↗
- Google 検索セントラル「AI 機能とウェブサイト」 ↗
- Cloudflare「Default cache behavior」 ↗
この記事を書いた編集部
Laugh Mind 編集部
株式会社Laugh Mindの編集部です。企業・採用ブランディングとWebサイトの制作・改善・運用、AIO・LLMO(AI検索最適化対策)の現場の知見をもとに、SEO・AIO・LLMOの最新の動きと実践のポイントをお届けします。
AIの回答で、御社は正しく紹介されていますか?
Laugh Mindは、AIO SCORE 100で今のサイトを採点し、次に何を直すべきかを整理します。30分の無料相談から始められます。
