Yapay zeka botları, ChatGPT, Claude, Gemini ve Perplexity gibi hizmetlerin web sayfalarını okumak için kullandığı tarayıcılardır. Bu botların bir kısmı içeriği dil modellerini eğitmek için toplar, bir kısmı ise kullanıcının sorusuna anlık yanıt verirken kaynak göstermek için sayfanızı ziyaret eder. Hangi botun sitenize girebileceğini belirleyen temel dosya robots.txt'dir. R10.Net AI Bot Erişim Kontrolü, sitenizin robots.txt dosyasını okur ve yaygın yapay zeka tarayıcılarının her biri için erişimin açık, kapalı ya da kısmen kısıtlı olduğunu tek tabloda gösterir.
Araç neyi kontrol eder?
Alan adınızı girdiğinizde araç https://alanadiniz.com/robots.txt dosyasını indirir ve aşağıdaki botlar için kurallarını site köküne (/) göre değerlendirir:
- OpenAI:
GPTBot,OAI-SearchBot,ChatGPT-User - Anthropic:
ClaudeBot,Claude-SearchBot,Claude-User - Google:
Google-Extended - Perplexity:
PerplexityBot,Perplexity-User - Apple:
Applebot-Extended - Diğerleri:
CCBot(Common Crawl),Bytespider(ByteDance),Meta-ExternalAgent(Meta),Amazonbot(Amazon),DuckAssistBot(DuckDuckGo),cohere-ai(Cohere)
Her satırda botun adı, ait olduğu şirket, botun amacı (model eğitimi ya da yapay zeka arama/yanıt), erişim durumu ve bu sonuca yol açan robots.txt kuralı yer alır. Böylece bir botun neden engellendiğini ya da neden serbest kaldığını tahmin etmek zorunda kalmazsınız.
Eğitim botu ile arama botu arasındaki fark
Yapay zeka tarayıcılarını tek bir grup olarak düşünmek yanlış kararlara yol açabilir. Kabaca üç tür vardır:
Model eğitimi için veri toplayan botlar
GPTBot, ClaudeBot, CCBot ve Bytespider gibi botlar herkese açık sayfaları, gelecekteki dil modellerinin eğitim verisine katkı sağlamak amacıyla tarar. Bu botları engellemek, içeriğinizin bundan sonra eğitim verisi olarak toplanmasını sınırlar; ancak geçmişte toplanmış verileri geri almaz.
Yapay zeka aramasına ve yanıtlara kaynak bulan botlar
OAI-SearchBot, Claude-SearchBot, PerplexityBot ve DuckAssistBot gibi botlar, yapay zeka destekli arama ürünlerinin dizinini oluşturur. Bu botları engellerseniz siteniz ilgili hizmetin yanıtlarında kaynak olarak gösterilme şansını büyük ölçüde kaybeder. Yapay zeka aramasından trafik almak istiyorsanız bu grubu açık tutmak genellikle mantıklıdır.
Kullanıcı adına sayfa açan ajanlar
ChatGPT-User, Claude-User ve Perplexity-User, bir kullanıcı sohbet sırasında belirli bir sayfayı okumak istediğinde devreye girer. Bu istekler toplu tarama değil, tek tek kullanıcı eylemleridir. Bazı şirketler bu tür kullanıcı kaynaklı isteklere robots.txt kurallarını farklı uygulayabileceğini belgelerinde belirtir; güncel davranış için ilgili şirketin tarayıcı dokümantasyonunu kontrol etmek gerekir.
Google-Extended ve Applebot-Extended
Bu iki ad ayrı bir tarayıcı değil, robots.txt içinde kullanılan kontrol belirteçleridir. Siteyi yine Googlebot ve Applebot tarar; Google-Extended veya Applebot-Extended için konan Disallow kuralı yalnızca taranan içeriğin ilgili şirketin yapay zeka modellerinde kullanımını sınırlar. Google, Google-Extended engelinin Google Arama'daki sıralamayı ve sitenin aramaya dahil edilmesini etkilemediğini belirtir. Google Arama'daki AI Bakışı (AI Overview) özelliği ise normal arama sisteminin parçasıdır ve Googlebot ile nosnippet gibi arama kontrolleriyle yönetilir.
Sonuçlar nasıl yorumlanır?
- İzinli: Bot için site kökünü engelleyen bir kural yoktur. Ya bota özel bir grup bulunmaz ve genel
User-agent: *kuralları erişime izin verir ya da bota özel grup açıkça izin verir. - Engelli: Botun kendi grubunda veya onu kapsayan grupta
Disallow: /bulunur; bot sitenin hiçbir sayfasını taramamalıdır. - Kısmen engelli: Kök dizin açık olsa da bazı klasörler (ör.
/blog/ya da/uye/) kapatılmıştır. Hangi bölümlerin kapalı olduğunu eşleşen kural sütununda görebilirsiniz.
robots.txt standardına göre bir bot, kendi adıyla eşleşen en belirgin User-agent grubunu uygular; böyle bir grup varsa User-agent: * altındaki kurallar o bot için geçerli olmaz. Bu nedenle genel grupta her şeyi engelleyip GPTBot için ayrı bir grupta izin verirseniz GPTBot erişebilir. Aynı yol için hem Allow hem Disallow eşleşirse daha uzun (daha spesifik) kural kazanır.
Yapay zeka botlarını engellemek mi, izin vermek mi?
Tek doğru cevap yoktur; karar içeriğinizin türüne ve iş modelinize bağlıdır:
- Haber, özgün araştırma veya ücretli içerik yayınlıyorsanız eğitim botlarını engelleyip arama botlarını açık bırakmak yaygın bir yaklaşımdır.
- Marka bilinirliği ve yapay zeka yanıtlarında görünür olmak öncelikliyse arama botlarını engellememeye dikkat edin.
- Sunucu kaynakları kısıtlıysa yoğun tarama yapan botları sınırlamak yükü azaltabilir.
Unutmayın: robots.txt bir rica dosyasıdır, teknik bir kilit değildir. Saygın şirketlerin botları kurallara uyar, ancak kurala uymayan tarayıcıları durdurmak için sunucu veya güvenlik duvarı düzeyinde engelleme gerekir.
Örnek robots.txt kuralları
Yalnızca OpenAI eğitim botunu engellemek için:
User-agent: GPTBotDisallow: /
Eğitim botlarını engelleyip yapay zeka aramasına açık kalmak için GPTBot, ClaudeBot ve CCBot'u ayrı gruplarda Disallow: / ile kapatır, OAI-SearchBot, Claude-SearchBot ve PerplexityBot için kural eklemezsiniz. Dosyayı düzenledikten sonra aracı yeniden çalıştırarak sonucu doğrulayın. Kuralları sıfırdan hazırlamak için Robots.txt Oluşturucu aracını kullanabilirsiniz.
İlgili araçlar
Yapay zeka sistemlerine sitenizin özetini sunmak için llms.txt Oluşturucu ile bir taslak hazırlayın, mevcut dosyanızı llms.txt Kontrolü ile doğrulayın. Bir kelimede Google'ın yapay zeka özetinde kaynak gösterilip gösterilmediğinizi görmek için AI Bakışı Kontrolü aracına göz atın.