AI学習への利用拒否をrobots.txtで一括指定、主要4社が対応表明

概要

詳細

仕組み: 共通ポリシートークンで意向を一括指定

今回のドラフトは、robots.txtの「User-Agent」に共通のポリシートークン「__usage_ai-training」を指定し、その下に「Disallow」(拒否)または「Allow」(許可)を書く形を提案しています。既存のrobots.txtの文法自体は変えないため、従来のパーサーの動作に影響しない設計です。共通トークンを書かない場合は、AI学習について特に意向を示していないものとして扱われます。

注意したいのは、この仕組みが示すのは学習データとして使ってよいかどうかの意向だけで、クロール自体を禁止するものではない点です。ページへのアクセスそのものを止めたい場合は、従来どおり各社のクローラー名を指定した制御が引き続き必要になります。

各社の対応時期

• OpenAI: 共通シグナルを尊重する方針で、今後数か月以内の実装を目指しています。実装の詳細は公開時にあわせて示すとしています。
• Google: 2027年の対応を目指しています。既存の「Google-Extended」による個別指定も引き続き有効で、共通トークンで拒否の意向を示していてもGoogle-Extendedを明示していない場合は、Google-Extendedの利用も拒否したものとして扱われます。発表はGoogle Search Central Blogで、Google Search AdvocateのJohn Mueller氏が担当しました。
• Microsoft(Bing): 2027年2月1日から新設定の読み取りを開始します。ページ単位の指定にはmetaタグやHTTPヘッダーも使え、これらはrobots.txtより優先されます。回答生成時の参照(グラウンディング)向けの設定も新設し、従来の「NoArchive」「NoCache」は2027年3月1日までに新設定へ移行するよう求めています。移行用の一時設定は2026年12月15日からBing Webmaster Toolsで利用できる予定です。
• Anthropic: ドラフトの作成者であるケビン・ケリー氏の所属企業で、既に社内での実装に着手していますが、サービス全体への対応には時間がかかるとしています。

まだ正式な標準ではない

このドラフトは、IETFが正式に承認した標準ではなく、ケリー氏が個人として提出したインターネットドラフトです。提出日は2026年10月30日、有効期限は2027年5月3日で、今後の議論を経て内容が変わる可能性があります。各事業者の対応は自主的な判断に基づくもので、法的な強制力はありません。