검색 크롤러와 학습 크롤러
Googlebot·OAI-SearchBot·GPTBot의 서로 다른 제어 목적을 이해합니다.
‘AI 봇 허용’은 너무 넓은 접근 정책입니다. 제공자는 목적별 에이전트를 사용하며 검색 발견과 학습을 분리할 수 있습니다. 규칙 변경 전에 제공자, 허용·제한 목적과 문서상의 에이전트를 적으세요.
Google Search의 제어
Google은 AI 기능을 포함한 Search 크롤링에 Googlebot의 robots.txt 규칙을 명시합니다. 스니펫과 색인은 별도이며 일부 다른 시스템의 학습과 근거 기반화는 Google-Extended를 안내합니다. 학습 설정이 Search AI에서 제거한다고 생각하기 전에 현재 문서를 읽으세요.
크롤링, 색인과 표시는 다릅니다. robots.txt 소개는 차단 URL도 나타날 수 있다고 설명합니다. 파일은 보안 경계가 아니므로 비공개 콘텐츠에는 실제 접근 보호가 필요합니다.
OpenAI의 검색과 학습
OAI-SearchBot은 ChatGPT Search에서 사이트를 보여 주기 위한 크롤러이고, GPTBot은 기반 모델 학습에 쓰일 수 있는 자료를 수집합니다. 설정은 독립적이어서 검색은 허용하고 GPTBot은 차단할 수 있습니다. 공식 개요에 설명되어 있습니다.
ChatGPT-User는 사용자 행동에 따라 방문하며 자동 검색 발견 크롤러가 아닙니다. 이런 요청에는 robots.txt가 적용되지 않을 수 있습니다. 회사 이름이 같은 모든 요청을 한 과정이나 한 지시문의 대상으로 보지 마세요.
의도적으로 범위 좁혀 결정하기
가상의 발행자는 ChatGPT Search에는 공개하고 OpenAI 학습은 거부할 수 있습니다. OAI-SearchBot 허용, GPTBot 차단이 가능한 예입니다. 보편적 권장이나 검색 포함, 데이터 삭제, 과거 학습 취소의 보장은 아닙니다.
실제 robots.txt 그룹, 경로 규칙과 인프라 충돌을 조사하세요. 예제를 문맥 없이 복사하지 말고 현재 일치·접근 지침을 읽습니다. 사적 경로는 별도 보호하고 공개 페이지의 필수 자료를 잘못 막지 않는지도 봅니다.
과도한 해석 없이 검증하기
user-agent 이름만으로 신원을 증명하지 못합니다. OpenAI는 IP 범위를 공개합니다. 필요하면 제공자의 현재 방법을 따르고 증거를 보관하세요. 상위 호스팅에서 막힌 요청은 애플리케이션 로그에 없을 수 있어 빈 로그도 불완전한 근거입니다.
규칙, 경로, 제공자와 날짜를 기록합니다. 정책은 선택을 전달하고 관찰된 크롤링은 그 요청만 확인합니다. 색인, 인용, 학습 이력과 사업 성과는 증명하지 않습니다. 목적과 행동이 변할 수 있으니 정책 변경 때 다시 확인하세요.