AIの学習をrobots.txtでまとめて断る「共通の指定」、Googleが2027年に対応へ

Googleは2026年10月30日、AIの学習に自社サイトの内容を使ってほしくないという意思を、robots.txt（クローラーへの指示を書くファイル）の1つの指定で、複数のAI企業にまとめて伝える仕組みに対応する計画を発表しました。対応は2027年を目指すとしており、今すぐサイトを変える必要はありません。ただし、この指定はGeminiアプリの回答での利用にも影響しうるため、中身を知ってから使うのが安全です。

発表の内容

Googleのブログ（英語）の要点は、次のとおりです。

• IETF（インターネットの技術の標準を決める団体）の作業部会「AIPREF」の検討をもとにした、AIの学習についての「共通の指定」に、robots.txtで対応する。
• この指定で学習を断り、Google-Extended（GoogleのAIでの利用を管理する名前）を個別に書いていないサイトは、Google-Extendedを断ったものとして扱う予定。
• Google-Extendedなど、各社ごとの指定は引き続き使える。
• 2027年に、ほかのAI企業とあわせて対応することを目指す。

書き方は、同じ日にIETFに出された作業文書（Internet-Draft）にあります。User-Agentの行に __usage_ai-training と書き、ふつうのrobots.txtと同じように断る場所と許す場所を書きます。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

/press-kit/ 以外は学習に使わないでほしい、という意味です。文書は検討中の案で、変わることがあります。

何が変わるのか

AI企業ごとに名前を調べて書き分けなくても、1か所で学習についての意思を示せるようになります。ただし、効くのは対応したAI企業に対してだけで、どこが対応するかはまだわかりません。誤解しやすい点は次の3つです。

• クローラーを止める指定ではありません。 作業文書は、クロールの指示ではないとしています。読みに来ること自体を止めるには、これまでどおり各クローラーの名前で書きます。
• User-Agent: * の行は当たりません。 すべてのクローラー向けのグループは、この指定に当てはめないとされています。
• Google検索の掲載・順位には影響しません。 Googleの文書は、次のように書いています。

Google-Extended が Google 検索でのサイトの登録に影響したり、Google 検索でのランキング シグナルとして使用されたりすることはありません。

一方、Google-Extendedは学習だけでなく、Geminiアプリでのグラウンディング（回答の根拠として、検索インデックスから内容を渡すこと）への利用も管理します。そのため、共通の指定で学習を断り、Google-Extendedを個別に書いていないと、Geminiアプリで回答の根拠に使われなくなる可能性があります。Googleは、Google-Extendedをはっきり許可したサイトは、Geminiアプリの回答に出る対象になる、としています。ただし、学習と回答での利用は分けて指定できず、許可するとGoogleの学習への利用も許すことになります。

会社のサイトでやること

今は様子見でよく、次のことを決めておけば十分です。

• AIの学習に使われてもよいか、社内の方針を決める
• Geminiアプリの回答に出ることを優先するなら、Google-Extendedを個別に許可するか検討する（Googleの学習への利用も許すことになる）
• 学習を断るつもりで、Googlebotなど検索用のクローラーを止めていないか確かめる
• robots.txtを誰が書き換えるかを決める

クローラーの種類は、中小企業のAI検索対策、最初の30日でやることにまとめています。

まとめ

• Googleは、AIの学習をまとめて断るrobots.txtの共通の指定に、2027年に対応する計画を発表した。
• 書き方はIETFで検討中の案。クロールを止める指定ではない。
• Googleは、共通の指定で学習を断り、Google-Extendedを個別に書いていないサイトを、Google-Extendedを断ったものとして扱う予定。Geminiアプリの回答に使われなくなる可能性がある。Google検索の掲載・順位には影響しない。
• 今は様子見でよい。方針と管理者を決めておく。

robots.txtを含め、自社サイトのAI検索への備えを確かめたい方は、AIO・LLMOソリューションの診断もご覧ください。