検索用と学習用のクローラー
Googlebot・OAI-SearchBot・GPTBot の異なる役割を理解します。
「AI ボットを許可する」だけでは範囲が広すぎます。提供元は目的の異なるエージェントを使い、検索発見と学習を分けることもあります。変更前に提供元、目的、文書の対象エージェントを記録します。
Google Search の制御
Google は AI 機能を含む Search の取得に Googlebot の robots.txt 指示を挙げます。スニペットと登録は別に制御し、一部の他システムの学習と根拠付けには Google-Extended を案内します。学習の設定で Search の AI から消えると思う前に現行文書を読みます。
取得、登録、表示は別です。robots.txt の概要では、禁止 URL が表示される場合もあります。ファイルは安全の境界ではなく、非公開情報には実際のアクセス保護が必要です。
OpenAI の検索と学習
OAI-SearchBot は ChatGPT Search にサイトを表示するため、GPTBot は基盤モデルの学習に使われ得る資料を取得するためのものです。設定は独立しており、検索を許可して GPTBot を拒否できます。公式概要に目的が説明されています。
ChatGPT-User はユーザーの操作でページを訪れ、自動の検索発見クローラーではありません。こうした要求には robots.txt が適用されない場合があります。同じ会社名の要求をすべて同じ処理と考えないでください。
狭く意図的に決める
仮定の方針：ChatGPT Search で公開ページを利用可能にしつつ、OpenAI の学習利用を拒否したい出版者は OAI-SearchBot を許可し GPTBot を拒否できます。制御の違いの例で、全員への推奨や採用、削除、過去の学習の取り消しを保証しません。
実際のグループ、対象パス、インフラの矛盾を調べます。断片をコピーせず現在の一致規則とアクセス説明を読みます。私的なパスは別に守り、公開ページに必要な資料の誤遮断も確認します。
過剰に解釈せず確認する
user-agent 名の申告だけでは本人確認になりません。OpenAI は IP 範囲を公開します。必要なら現行の確認方法を使い、証拠を残します。上流で拒否された要求はアプリのログに届かないため、空のログは不完全です。
変更した規則、パス、提供元、日付を記録します。方針は選択を伝え、観察した取得はその要求のみを確かめます。登録、引用、学習履歴、事業成果は証明しません。目的は変わり得るため方針変更時に再確認します。