ChatGPT・Claudeに自社が出てこない？ AIのクローラーが読めているかの確かめ方

ChatGPTやClaude、Perplexityの検索の回答に自社のサイトが出てこないとき、最初に確かめたいのは「AIのクローラー（サイトを読みに来るプログラム）が、そもそもサイトを読めているか」です。確かめる場所は、robots.txt だけではありません。robots.txt、CDN（配信サービス）やWAF（不正なアクセスを防ぐ仕組み）の設定、サーバーのアクセスの記録、反映までの時間の4つを順に見ると、原因を切り分けられます。

この記事では、Google・OpenAI・Anthropic・Perplexityの公式の説明をもとに、Web担当の方が自分で確かめられる手順をまとめます。なお、クローラーが読めていても、AIの回答に出ることが保証されるわけではありません。ここで確かめるのは「出るための入口が閉じていないか」です。

AIのクローラーは「検索用」「学習用」「ユーザーの操作用」に分かれる

結論から言うと、AIの回答に出るかどうかに関わるのは、主に「検索用」のクローラーです（Googleの Google-Extended のように、学習と、Geminiアプリなどでの回答の根拠の両方に関わる指定もあります）。各社は、目的ごとに別の名前のクローラーを使っています。

※各社の公式の説明（2026年11月4日に確認）をもとに、Laugh Mind で整理したものです。

Googleは、AIによる概要・AIモードについて「サイト所有者は Googlebot の robots.txt ディレクティブを使って、検索用にクロールされるサイトへのアクセスを管理します」と説明しています。Google-Extended は、Googleがクロールしたサイトの内容を、次世代のGeminiモデルの学習と、Geminiアプリ・Vertex AIでのGoogle検索を使ったグラウンディング（回答の根拠にすること）に役立てるかを管理する名前です。Googleは「Google-Extended が Google 検索でのサイトの登録に影響したり、Google 検索でのランキング シグナルとして使用されたりすることはありません」としています。Google-Extended は1つの指定なので、この指定の中で、学習だけを断ってGeminiアプリなどでのグラウンディングには使ってよい、と分けることはできません。Google-Extended を断ると、両方が止まります。Google検索のAIによる概要・AIモードは、Google-Extended ではなく Googlebot の設定で管理します。

OpenAIは、OAI-SearchBot を断ったサイトはChatGPTの検索の回答に出ない（ただし、案内のリンクとしては出ることがある）と説明しています。Anthropicは、Claude-SearchBot を無効にすると、検索結果での表示と精度が下がる可能性があるとしています。Perplexityは、PerplexityBot は検索結果にサイトを出してリンクするためのもので、AIの基盤モデルの学習のためには使わないと説明しています。

学習用のクローラーを断るかどうかは、会社の考え方で決めてかまいません。ただし、学習を断るつもりで、検索用のクローラーまで止めていないかは確かめましょう。OpenAIとPerplexityは、クローラーごとの設定はそれぞれ別に働くと説明しています。学習の断り方の新しい動きは「AIの学習をrobots.txtでまとめて断る「共通の指定」、Googleが2027年に対応へ」で紹介しています。

確かめ方1：robots.txtを読む

最初に、ブラウザで https://自社のドメイン/robots.txt を開きます。robots.txt は、クローラーに「どこを読んでよいか」を伝えるファイルです。サイトの一番上の階層に置き、サブドメイン（www. や shop. など）ごとに別のファイルになります。

見るところは次のとおりです。

• Disallow: / が、検索用のクローラーにかかっていないか：そのクローラー向けのグループがなく、User-agent: *（すべてのクローラー）のグループに Disallow: / があると、原則としてサイト全体を読めません。ただし、同じグループに、より具体的な（パスの長い）Allow があれば、その範囲は読めます（Googleの説明と RFC 9309 では、パスが最も長く一致するルールを使います）。たとえば Disallow: / と Allow: /public/ が同じグループにあれば、標準どおりに読むクローラーは /public/ の下を読めます。Disallow の1行だけで判断せず、確かめたいページのパスにどのルールがかかるかを見ます。
• 個別の指定があるクローラーは、* の指定を見ない：Googleは、特定のユーザー エージェントのグループと、グローバル グループ（User-agent: * のグループ）は「結合されません」と説明しています。robots.txt の標準（RFC 9309）でも、自分に合うグループがないときに、User-agent: * のグループがあればそれに従う決まりです。標準どおりに読むクローラーでは、たとえば User-agent: OAI-SearchBot のグループを書くと、OAI-SearchBot には User-agent: * の下のルールはかかりません。意図どおりになっているか、クローラーごとに確かめます。
• ファイルが正しく返っているか：Googleの説明では、robots.txt が 404 など（429 を除く 4xx）を返すと、Googleは制限がないものとして扱います。一方、5xx（サーバーのエラー）が続くと、最初の12時間はサイトのクロールを止め、その後30日間は、新しい版の取得を試みながら、前に正しく取得できた版を使います（前の版がなければ、制限がないものとして扱います）。ほかの会社のクローラーが、エラーのときにどう動くかは、各社の説明を確かめてください。

GoogleについてはSearch Consoleの「robots.txt レポート」で、Googleが取得した robots.txt、最後に取得した日時、エラーや警告を見られます。このレポートはドメイン プロパティか、パスを指定しないURLプレフィックス プロパティでだけ使えます。

確かめ方2：CDN・WAF・サーバーの設定を見る

robots.txt で許可していても、その手前の仕組みでクローラーが止められていることがあります。Googleも、AIによる概要・AIモードのための基本として「クロールが robots.txt に加え、CDN またはホスティング インフラストラクチャで許可されていることを確認します」と書いています。

確かめる場所の例です。

• CDN・WAFのボット対策：たとえばCloudflareには、AIのクローラーを「Search（検索）」「Agent（ユーザーの代わりに動くもの）」「Training（学習）」の3つの動きに分けて、許可や遮断を選ぶ設定があります。Cloudflareの説明（2026年11月2日更新）では、新しいドメインの初期値は3つとも許可です。ただし、Trainingの設定は、検索と学習の両方に使われるクローラーにもかかるとされています。学習を止めるつもりで Training に Block（遮断）を選ぶと、検索にも使われるクローラーが止まることがあります。前の担当者や制作会社が設定を変えていないか確かめましょう。
• IPアドレスでの遮断：Anthropicは、IPアドレスでの遮断などのほかの方法は、robots.txt を読む妨げになり、正しく働かないことがあると説明しています。断りたいときは robots.txt で指定するよう求めています。
• 各社が公開しているIPアドレスの範囲：OpenAIとPerplexityは、検索用のクローラーについて、robots.txt での許可に加え、公開しているIPアドレスの範囲からのアクセスを許可するよう勧めています。WAFで許可のルールを作るときは、この一覧を使います（一覧は変わるので、公式の JSON から取り直します）。

PerplexityはCloudflareのWAFでの設定例も出していますが、その中で、CloudflareのBot Fight Mode は WAF のカスタムルールでは外せず、有効にしていると Perplexity のクローラーが確認の画面にかかることがある、と書いています。ボット対策の機能を入れているときは、その機能の説明も確かめてください。

確かめ方3：アクセスの記録で、実際に来ているかを見る

設定に問題がなさそうなら、サーバーのアクセスの記録（アクセスログ）で、クローラーが実際に来ているかを見ます。レンタルサーバーなら、管理画面からアクセスログを取り出せることが多いです。

ただし、CDNやWAFで止められたアクセスや、CDNが手元の控えから返したアクセスは、サーバーまで届かないため、サーバーの記録に残らないことがあります。サーバーの記録にないことだけで「来ていない」とは判断できません。 CDN・WAFを使っているときは、そのサービスの記録も見ます。たとえばCloudflareの「Security Events」では、Cloudflareのセキュリティ機能が止めたり確認の画面を出したりしたリクエストを調べられます（すべてのリクエストの一覧ではなく、見られる内容はプランによって違い、サンプリングされた記録もあります）。

• ユーザー エージェント（名乗り）で探す：記録の中から Googlebot・OAI-SearchBot・Claude-SearchBot・PerplexityBot などの文字を探します。
• 日時・パス・ステータス コードを合わせて見る：名乗りだけでなく、いつ・どのURL（パス）を取りに来て、何を返したかを見ます。robots.txt への 200 と、確かめたいページへの 200 は別です（OpenAIは、robots.txt を取りに来るときに、名乗りに robots.txt という目印を付ける場合があると説明しています）。403 や 503 が並んでいたら、どこかで止めているか、サーバーが応じられていない可能性があります。
• 200 でも、本文が届いたとは限らない：200 は、サーバーが応答に成功したという記録です。空白のページやエラーの文が 200 で返ることもあり、Googleはそうしたページを Search Console で「ソフト 404」として示すと説明しています。Googleについては、Search Console の URL 検査で、Googlebot が取得した HTML に本文が入っているかを確かめられます（ほかの会社のクローラーも同じ内容を受け取った、という証拠にはなりません）。
• 本物かどうかを確かめる：名乗りは偽ることができます。Googleは、アクセスの記録のIPアドレスを逆引きして googlebot.com・google.com・googleusercontent.com のどれかであることを確かめ、さらに正引きで元のIPアドレスに戻るかを見る方法を案内しています。OpenAI・Anthropic・Perplexityは、IPアドレスの一覧を公開しています。

なお、ユーザーの操作による取得（ChatGPT-User・Perplexity-User など）は、ユーザーが頼んだときに動くものです。OpenAIは ChatGPT-User には robots.txt が適用されない場合があるとし、Perplexityは Perplexity-User は一般に robots.txt を無視すると説明しています。記録にこれらがあっても、検索用のクローラーが来ていることにはなりません。OpenAIは、ChatGPT-User は検索に出るかどうかの判断には使わず、検索に出るかどうかの管理には OAI-SearchBot を使うよう案内しています。一方、Anthropicは、Claude-User を無効にすると、ユーザーが指示したウェブ検索でのサイトの表示が減る可能性があるとしています。ユーザーの操作による取得の扱いは会社ごとに違うので、止める前に各社の説明を確かめましょう。

確かめ方4：設定を変えたら、反映を待つ

robots.txt や設定を直しても、すぐには反映されません。

• Google：robots.txt の内容をふつう最大24時間キャッシュに持つと説明しています（取得できないときはもっと長く持つことがあり、Cache-Control の max-age によって長くも短くもする場合があります）。Search Consoleの robots.txt レポートから、robots.txt の再クロールをリクエストできますが、Googleは、リクエストしても許可したURLがすぐに再クロールされるとは限らないとしています。
• OpenAI：検索の結果に robots.txt の変更が反映されるまで、約24時間かかることがあると説明しています。
• Perplexity：反映まで最大24時間かかることがあると説明しています。

反映を待つ間は、同じ設定を何度も変えないようにします。AIの回答に出るかどうかは、クローラーが読めることのほかに、内容や質問の仕方でも変わります。直したあとは、同じ質問・同じ条件で、間を空けて確かめると変化を追いやすくなります。

Laugh Mind のサイトでしたこと

私たちLaugh Mind も、自社の会社サイトを AIO SCORE 100 で診断し、指摘を直す中で、robots.txt をAIのクローラーを止めない設定にし、サイトマップを用意しました。会社のサイトでは、制作会社や担当者が替わったあとも、前の設定が残っていることがあります。最初に robots.txt とCDN・サーバーの設定を見ておくと、そのあとの対策の効き目を正しく判断しやすくなります。

まとめ

• AIの検索の回答に関わるのは、主に検索用のクローラー（Googlebot・OAI-SearchBot・Claude-SearchBot・PerplexityBot）。学習用を断るときに、検索用まで止めていないかを確かめる（Google-Extended を断ると、次世代のGeminiモデルの学習と、Geminiアプリ・Vertex AIでのグラウンディングへの利用の両方が止まる）。
• robots.txt は、個別の指定があるクローラーには User-agent: * のルールがかからない点、Disallow と Allow のどちらが確かめたいパスにかかるか、ファイルが正しく返っているかを見る。
• robots.txt だけでなく、CDN・WAFのボット対策も確かめる。Cloudflareの学習の遮断は、検索と学習の両方に使われるクローラーにもかかる。
• アクセスの記録で、実際に来ているか・どのパスに何を返しているかを見る。CDN・WAFで止めたアクセスはサーバーの記録に残らないことがあり、200 でも本文が届いたとは限らない。名乗りは偽れるので、IPアドレスでも確かめる。
• robots.txt の変更が読まれるまで、24時間ほどかかることがある（Googleは取得できないときにもっと長く持つことも）。ページが読み直されるのは、さらにあとのこともある。クローラーが読めても、AIの回答に出ることは保証されない。

ほかに始めにやることは「中小企業のAI検索対策、最初の30日でやること」にまとめています。自社のサイトがAIや検索エンジンに読める状態かをまとめて確かめたいときは、AIO・LLMOソリューションの無料の初回診断（AIO SCORE 100）もご利用いただけます。