Roboty wyszukujące i treningowe
Poznaj różne role Googlebot, OAI-SearchBot i GPTBot.
„Zezwól botom AI” to zbyt szeroka polityka. Dostawcy mają różne agenty, czasem osobno dla wyszukiwania i treningu. Przed zmianą zapisz dostawcę, zamierzony cel i udokumentowanego agenta.
Kontrole Google Search
Google wskazuje reguły Googlebot w robots.txt dla skanowania Search wraz z funkcjami AI. Fragmenty i indeksowanie mają osobne kontrole; Google-Extended dotyczy treningu i oparcia w źródłach niektórych innych systemów. Przeczytaj aktualne wskazówki, zanim uznasz ustawienie treningowe za usunięcie z AI Overviews czy AI Mode.
Skanowanie, indeksowanie i pokazanie to różne pytania. Opis robots.txt mówi, że blokowany URL może być widoczny. Plik nie chroni prywatności jak kontrola dostępu. Prywatne treści wymagają rzeczywistego zabezpieczenia.
Rozdzielenie w OpenAI
OAI-SearchBot służy pokazywaniu witryn w ChatGPT Search. GPTBot pobiera materiały mogące trenować modele bazowe. Ustawienia są niezależne: można dopuścić wyszukiwanie i zablokować GPTBot według oficjalnego opisu.
ChatGPT-User odwiedza strony na działanie użytkownika i nie jest automatycznym robotem odkrywającym. Dokumentacja ostrzega, że robots.txt może się do takich żądań nie stosować. Nie utożsamiaj wszystkich żądań z nazwą firmy ani zakresu jednej dyrektywy z całością.
Świadoma, wąska decyzja
Hipotetyczny wydawca chce dostępności w ChatGPT Search, ale odmawia treningu OpenAI. Mógłby dopuścić OAI-SearchBot i zabronić GPTBot. To przykład rozdzielenia, nie zalecenie uniwersalne ani gwarancja włączenia, usunięcia danych lub cofnięcia wcześniejszego uczenia.
Przejrzyj rzeczywiste grupy robots.txt, ścieżki i sprzeczne blokady infrastruktury. Czytaj bieżące zasady dopasowania i dostępu zamiast kopiować urywek. Osobno zabezpiecz ścieżki prywatne i sprawdź zasoby potrzebne publicznym stronom.
Sprawdź bez nadinterpretacji
Nazwa user-agent sama nie dowodzi tożsamości. OpenAI publikuje zakresy IP. Gdy to ważne, użyj aktualnej metody dostawcy i zachowaj dowody. Żądania zablokowane wcześniej mogą nie trafić do logów aplikacji; pusty log jest niepełnym dowodem.
Po zmianie zapisz regułę, ścieżki, dostawcę i datę. Polityka komunikuje wybór; obserwowany dostęp potwierdza tylko żądanie. Nie dowodzą indeksowania, cytowań, historii treningu ani wyników. Ponownie sprawdzaj dokumentację przy zmianach, bo cele robotów ewoluują.