Rastreadores de búsqueda y entrenamiento
Entiende Googlebot, OAI-SearchBot y GPTBot como controles diferentes.
«Permitir bots de IA» es una política demasiado amplia. Los proveedores usan agentes para fines distintos y una empresa puede separar búsqueda y entrenamiento. Antes de modificar reglas, anota proveedor, finalidad que deseas permitir o restringir y agente documentado.
Google Search tiene sus controles
Google identifica las reglas de Googlebot en robots.txt como control de rastreo de Search, incluidas funciones de IA. Describe por separado fragmentos e indexación y remite a Google-Extended para entrenamiento y fundamentación de algunos otros sistemas. Consulta la orientación vigente antes de suponer que un ajuste de entrenamiento retira contenido de AI Overviews o AI Mode.
Rastrear, indexar y mostrar son cuestiones distintas. La introducción a robots.txt explica que una URL bloqueada aún puede aparecer. El archivo no es una barrera de seguridad. Protege contenido privado con controles de acceso adecuados, no con una petición a rastreadores.
OpenAI separa búsqueda y entrenamiento
OpenAI describe OAI-SearchBot como rastreador para mostrar sitios en ChatGPT Search. GPTBot obtiene material que puede usarse para entrenar modelos fundacionales generativos. Sus ajustes son independientes: puede permitirse búsqueda y bloquearse GPTBot, según la documentación oficial.
También distingue ChatGPT-User, que puede visitar páginas por acciones del usuario y no es un rastreador automático de descubrimiento. Advierte que robots.txt podría no aplicarse a esas solicitudes. No trates todas las peticiones con el nombre de la empresa como un mismo proceso ni supongas cobertura universal.
Decide de forma deliberada
Política hipotética: un editor quiere acceso para ChatGPT Search y señalar que su contenido no debe entrenar modelos de OpenAI. Podría permitir OAI-SearchBot y bloquear GPTBot. Ilustra controles separados; no recomienda una política universal ni garantiza inclusión, retirada de datos o eliminación retroactiva de aprendizaje.
Antes, examina grupos reales de robots.txt, reglas por ruta y restricciones de infraestructura contradictorias. Lee las instrucciones actuales de coincidencia y acceso del proveedor, en lugar de pegar ejemplos sin contexto. Protege rutas privadas por separado y comprueba recursos necesarios para páginas públicas.
Verifica sin exagerar
Un nombre declarado de agente no prueba identidad. OpenAI publica rangos IP para sus agentes. Si importa, aplica su método actual y guarda pruebas. Las peticiones bloqueadas antes de llegar a la aplicación pueden faltar en sus registros; la ausencia de entradas no es concluyente.
Tras cambiar, registra regla exacta, rutas, proveedor y fecha. La política comunica una decisión; un rastreo observado confirma solo esa solicitud. Ninguno demuestra indexación, citas, historial de entrenamiento o resultados comerciales. Revisa documentación al cambiar la política: propósitos y comportamientos evolucionan.