Arama ve eğitim botları
Googlebot, OAI-SearchBot ve GPTBot’un ayrı rollerini anlayın.
“Yapay zekâ botlarına izin ver” fazla geniştir. Sağlayıcılar farklı amaçlarla farklı ajanlar kullanır; arama keşfi ve eğitim ayrı kontrol edilebilir. Kuraldan önce sağlayıcı, amaç ve belgelenmiş ajanı yazın.
Google Search kontrolleri
Google, yapay zekâ özellikleri dâhil Search taraması için Googlebot robots.txt kurallarını belirtir. Özet ve dizin kontrolleri ayrıdır; Google-Extended bazı diğer sistemlerde eğitim ve kaynak dayanağı içindir. Eğitim ayarının AI Overviews veya AI Mode’dan kaldırdığını varsaymadan güncel rehberi okuyun.
Tarama, dizin ve gösterim farklıdır. robots.txt girişi engelli URL’nin görünebileceğini açıklar. Dosya güvenlik sınırı değildir; özel içerik uygun erişim koruması ister.
OpenAI amaçları ayırır
OAI-SearchBot, ChatGPT Search’te siteleri göstermek içindir. GPTBot temel modellerin eğitiminde kullanılabilecek malzemeyi tarar. Ayarlar bağımsızdır: aramaya izin verip GPTBot’u engellemek mümkündür; resmî belge bunu açıklar.
ChatGPT-User kullanıcı eylemiyle sayfa ziyaret eder ve otomatik arama keşfi botu değildir. robots.txt bu taleplere uygulanmayabilir. Şirket adını taşıyan tüm istekleri veya bir yönergenin kapsamını aynı saymayın.
Bilinçli ve dar karar
Varsayımsal yayıncı ChatGPT Search erişimini isterken OpenAI eğitimini reddedebilir. OAI-SearchBot’a izin verip GPTBot’u engelleyebilir. Bu ayrım örneğidir; evrensel öneri, görünme, veri silme veya geçmiş öğrenmeyi geri alma garantisi değildir.
Gerçek robots.txt gruplarını, yolları ve altyapı çelişkilerini inceleyin. Bağlamsız örnek yerine güncel eşleştirme ve erişim kurallarını okuyun. Özel yolları ayrı koruyun, genel sayfanın gerekli kaynaklarını yanlışlıkla engellemeyin.
Aşırı yorumlamadan doğrulayın
Bildirilen user-agent kimlik kanıtlamaz. OpenAI IP aralıkları yayımlar. Gerekliyse sağlayıcının güncel yöntemini kullanıp kanıt saklayın. Barındırmada engellenen istek uygulama kayıtlarına ulaşmayabilir; boş kayıt eksik kanıttır.
Değişiklik sonrası kural, yollar, sağlayıcı ve tarihi kaydedin. Politika seçimi iletir; gözlenen tarama yalnızca o isteği doğrular. Dizin, alıntı, eğitim geçmişi veya iş sonucu kanıtlamaz. Amaçlar değişebileceği için politika değişiminde belgeyi yeniden kontrol edin.