搜索爬虫与训练爬虫
区分 Googlebot、OAI-SearchBot 与 GPTBot 的控制目的。
“允许 AI 爬虫”不足以构成清楚的访问政策。不同提供方有不同用途的代理，一家公司也可能分别控制搜索发现和模型训练。改规则之前，记录提供方、想允许或限制的用途，以及文档对应的爬虫。
Google Search 的控制方式
Google 将 robots.txt 中 Googlebot 的指令列为 Search 抓取控制，其中包括搜索中的 AI 功能。摘要展示与索引控制另有说明；某些其他 Google 系统的训练和来源锚定则涉及 Google-Extended。不要先假定训练设置会移除 AI Overviews 或 AI Mode 中的内容，先读当前说明。
抓取、索引和展示是不同问题。Google 的robots.txt 简介说明，被阻止抓取的网址仍可能出现在结果里。robots.txt 不是安全屏障。私密材料需要真正的访问保护，而不是向爬虫发出请求。
OpenAI 将搜索与训练分开
OpenAI 说明 OAI-SearchBot 用于让网站出现在 ChatGPT Search；GPTBot 抓取可能用于生成式基础模型训练的材料。两者设置独立：可以允许搜索，同时禁止 GPTBot，见官方爬虫概览。
文档还区分 ChatGPT-User：它可因用户操作访问页面，不是自动发现搜索内容的爬虫。对于这种用户发起的请求，robots.txt 可能不适用。不能把带有同一公司名字的请求都视为同一过程，也不能认为一条指令覆盖全部。
有意识地作出窄范围决定
假设一位发布者希望公共页面可用于 ChatGPT Search，但表明不希望内容用于 OpenAI 模型训练。他可考虑允许 OAI-SearchBot、禁止 GPTBot。这只是独立控制的例子，不是所有人的推荐，也不保证进入搜索、删除数据或撤销过去的训练。
执行前检查实际 robots.txt 分组、路径规则和基础设施限制是否冲突。阅读提供方当前的匹配与访问说明，不要脱离上下文复制片段。私密路径独立保护，同时注意别误伤阅读公共页面所需的资源。
验证请求，不扩大结论
仅凭 user-agent 声称的名称，不能证明身份。OpenAI 在文档中公布代理 IP 范围。身份重要时，应按提供方当前方法核实并保留证据。被主机层拦下的请求可能根本没有到达应用日志，所以空日志并非完整证据。
改完后记录具体规则、路径、提供方和日期。访问政策表达你的选择；观察到抓取，只确认那次请求。它们都不能证明索引、引用、训练历史或业务结果。用途和行为会变化，修改政策时应重新核对文档。