Rastreadores de pesquisa e treino
Entenda Googlebot, OAI-SearchBot e GPTBot como controlos diferentes.
«Permitir bots de IA» é demasiado amplo. Fornecedores usam agentes para fins diferentes e podem separar pesquisa e treino. Antes de mudar regras, escreva fornecedor, finalidade autorizada ou restringida e agente documentado.
Os controlos do Google Search
O Google identifica regras Googlebot em robots.txt para rastreamento Search, incluindo IA. Excertos e indexação têm controlos distintos; Google-Extended trata treino e fundamentação de alguns outros sistemas. Leia a orientação atual antes de assumir que uma opção de treino retira conteúdo de AI Overviews ou AI Mode.
Rastrear, indexar e apresentar diferem. A introdução ao robots.txt diz que uma URL bloqueada pode aparecer. O ficheiro não é segurança: conteúdo privado exige proteção de acesso adequada.
A separação da OpenAI
OAI-SearchBot serve para apresentar sites no ChatGPT Search. GPTBot obtém material potencialmente usado para treinar modelos fundamentais generativos. As configurações são independentes: pesquisa permitida e GPTBot bloqueado podem coexistir, segundo a documentação oficial.
ChatGPT-User visita páginas por ação do utilizador e não é rastreador automático de descoberta. As regras robots.txt podem não se aplicar a esses pedidos. Não trate todos os pedidos com o nome da empresa como iguais nem uma regra como universal.
Uma decisão deliberada
Política hipotética: um editor quer disponibilidade no ChatGPT Search mas recusa treino OpenAI. Poderia permitir OAI-SearchBot e bloquear GPTBot. Ilustra separação, sem recomendação universal nem garantia de inclusão, remoção de dados ou reversão de aprendizagem passada.
Inspecione grupos reais de robots.txt, caminhos e restrições contraditórias da infraestrutura. Leia regras atuais de correspondência e acesso em vez de copiar exemplos isolados. Proteja caminhos privados separadamente e verifique recursos necessários às páginas públicas.
Verifique sem exagerar
O nome declarado do agente não prova identidade. A OpenAI publica intervalos IP. Quando necessário, siga o método atual e preserve evidências. Pedidos bloqueados a montante podem não entrar nos registos da aplicação; silêncio não basta.
Registe regra, caminhos, fornecedor e data. Uma política comunica uma escolha; um rastreamento observado confirma apenas esse pedido. Não provam índice, citações, histórico de treino ou negócio. Reveja documentação ao mudar política, porque fins e comportamento evoluem.