robots.txt'de AI botlarını nasıl yönetirsiniz
7 dk okuma · Güncellendi: 20 Eyl 2026
İçindekiler
Önce hangi botların geldiğine bakın
Sunucu kayıtlarınızda GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot gibi kimlikler görürsünüz. Bunların bir kısmı model eğitimi için içerik toplar, bir kısmı ise cevaplarda kaynak gösterilecek sayfaları bulur.
Karar vermeden önce hangi botun hangi amaçla geldiğini ayırın. Aynı şirketin eğitim ve arama için farklı botları olabilir.
Arama botu ile eğitim botunu ayırın
Cevaplarda kaynak olarak görünmek istiyorsanız arama amaçlı botları açık tutmanız gerekir. Eğitim botlarını kapatıp kapatmamak ise içeriğinizin model eğitiminde kullanılmasına dair ayrı bir tercihtir.
Örneğin GPTBot'u kapatmak, OAI-SearchBot açıksa ChatGPT aramasında kaynak gösterilmenizi tek başına engellemez.
Kuralı doğru yazın
Her bot için ayrı bir "User-agent" bloğu açın ve altına izin verdiğiniz ya da kapattığınız yolları yazın. Genel "User-agent: *" bloğundaki bir kısıtlama, ayrıca kural yazmadığınız bütün botları etkiler.
Değişiklikten sonra dosyayı tarayıcıda açıp gerçekten yayında olduğunu kontrol edin. Önbellek ya da CDN eski dosyayı sunabilir.
Güvenlik duvarını unutmayın
robots.txt izin verse bile güvenlik duvarı ya da bot koruması AI botlarını engelleyebilir. Bu durumda bot sayfayı hiç göremez ve dosyadaki izin kâğıt üzerinde kalır.
AILens'in AGT-012 kontrolü, robots.txt'nin izin verdiği botun gerçekten sayfaya ulaşıp ulaşamadığına bakar.
Kararınızı yazılı hale getirin
Hangi botu neden açtığınızı ya da kapattığınızı kısa bir notla kaydedin. Müşteriye rapor verirken ve bir sonraki değişiklikte bu not işinizi kolaylaştırır.
Bot listeleri değişir. Yılda en az bir kez şirketlerin güncel belgelerine bakıp kuralları gözden geçirin.
Bu yazıda anlatılanları sitenizde kontrol edin.
Sitenizi kontrol edin