Yapay zeka tarayıcıları için 'izin ver ya da engelle' neden yanlış soru?
Asıl yararlı soru, her tarayıcının içeriğinizle ne yaptığıdır. Bazı yapay zeka tarayıcıları, modelleri eğitmek için kullanılabilecek materyalleri toplar. Diğerleri ise bir kullanıcı soru sorduğunda bir asistanın arama yapabilmesi, okuyabilmesi ve kaynak gösterebilmesi için sayfaları çeker. Bunları tek bir kategori altında toplamak, var olmasına gerek olmayan bir ödünleşim yaratır.
B2B bir ekip için, aşırı engellemenin maliyeti genellikle arama erişimine izin vermenin maliyetinden daha yüksektir. Ürün sayfalarınız, karşılaştırma sayfalarınız ve dokümantasyonunuz yanıt motorlarına görünmez durumdaysa, tedarikçi listesi için asistanlara soru soran alıcılar markanızı hiç görmeyecek. Amaç, tarayıcı tarayıcı, hangi amacı kabul ettiğinize karar vermektir.
Uygulanabilir bir çerçeve üç katmandan oluşur: eğitim erişimi, arama ve alıntı erişimi ile kullanıcı tetikli getirme. Her katman için bir karar yazın, ardından bunu robots.txt dosyasında ifade edin. Tedarikçiler dokümantasyonlarını güncellediğinde kararları yeniden gözden geçirin, çünkü tarayıcı adları ve davranışları değişebilir.
GPTBot, OAI-SearchBot ve ChatGPT-User nedir ve hangisine izin vermelisiniz?
GPTBot, eğitim verisi toplamayla ilişkilendirilen OpenAI tarayıcısıdır. OAI-SearchBot, ChatGPT aramayla ilişkilidir; dolayısıyla arama yanıtlarında görünebilecek içerikleri dizine ekler. ChatGPT-User, bir kişi sohbet sırasında ChatGPT'den bir sayfayı açmasını istediğinde kullanılır. Her birinin farklı bir amacı vardır ve OpenAI'nin tarayıcı dokümantasyonuna göre her biri farklı şekilde kontrol edilir.
B2B markalar için yaygın bir karar, GPTBot'u engellemek, OAI-SearchBot'a izin vermek ve ChatGPT-User'ı kullanıcı tetikli bir istek olarak değerlendirmektir. Kuralları kesinleştirmeden önce OpenAI'nin güncel dokümantasyonunu kontrol edin, çünkü her ajanın robots.txt dosyasını nasıl ele aldığına dair ayrıntılar, tedarikçilerin revize ettiği türden şeylerdir.
| Tarayıcı | Ana amaç | B2B site için tipik karar | Engellemenin etkisi |
|---|---|---|---|
| GPTBot | Eğitim verisi toplama | Eğitime katılmamayı seçiyorsanız engelleyin | Eğitim toplamayı durdurur; tek başına arama görünürlüğünü kaldırmaz |
| OAI-SearchBot | ChatGPT araması için dizinleme | Alıntılanmak istiyorsanız izin verin | Engellemek, sayfalarınızın ChatGPT arama sonuçlarında yer almamasına neden olabilir |
| ChatGPT-User | Kullanıcının isteğiyle bir sayfayı getirme | Genellikle eğitimle ilgili değil, ürün kararıdır | robots.txt tarafından tarayıcılarla aynı şekilde yönetilmeyebilir |
Google-Extended engellemek Google Aramasını veya AI Overviews'ı etkiler mi?
Google-Extended'i engellemek, sayfalarınızı normal Google Aramasından kaldırmaz; Google'ın dokümantasyonuna göre AI Overviews'daki yer almayı da etkilemez. Google-Extended, Google'ın tarayıp topladığı içeriğin Gemini modellerinin eğitiminde ve belirli temellendirme (grounding) kullanımlarında kullanılıp kullanılamayacağını kontrol eden bir robots.txt belirtecidir. Sayfalarınızı getiren ayrı bir tarayıcı değildir.
Asıl risk, bunu Googlebot ile karıştırmaktır. Googlebot'u engellerseniz sayfalarınız Arama'dan ve Arama'ya dayanan AI özelliklerinden çıkar. Google-Extended'i engellemek ise yalnızca içeriğinizin Gemini eğitiminde ve ilgili kullanımlarda kullanılmaması gerektiğini bildirir.
Herhangi bir şeyi değiştirmeden önce Googlebot kurallarınızı açıkça kontrol edin. Eski bir şablondan kopyalanmış, tüm kullanıcı ajanlarını kapsayan geniş bir Disallow kuralı, ekip yalnızca AI eğitiminden çıkmak istediğinde sitenin Google'dan kaybolmasının en yaygın nedenidir.
Alıntılanmaya izin verip eğitimden çıkan robots.txt kuralları nasıl yazılır?
Kontrol etmek istediğiniz her AI tarayıcısı için ayrı bir User-agent grubu yazın; normal arama için Googlebot ve Bingbot gruplarını koruyun. Kurallar grup bazında eşleştirildiği için GPTBot grubundaki bir Disallow, OAI-SearchBot'u etkilemez. Dosyayı her ana makine adının (hostname) kökünde tutun, çünkü robots.txt kuralları alt alan adlarına aktarılmaz.
Aşağıdaki kurallar, eğitimden çıkmak ama alıntılanmak isteyen bir ekip için bir başlangıç modelidir. Eğitimle ilgili kendi tutumunuza göre uyarlayın ve hangi yolları gerçekten korumak istediğinizi gözden geçirmeden kopyalamayın.
- User-agent: GPTBot / Disallow: /
- User-agent: Google-Extended / Disallow: /
- User-agent: OAI-SearchBot / Allow: /
- User-agent: PerplexityBot / Allow: /
- User-agent: Googlebot / Allow: /
- User-agent: * / Disallow: /account/ ve /staging/
- Mevcut robots.txt dosyanızı denetleyin ve yıldız (*) user agent altındaki geniş kuralları not edin; bunlar AI tarayıcılarına da uygulanır.
- OpenAI eğitiminden çıkmak istiyorsanız GPTBot için Disallow: / içeren bir grup ekleyin.
- Gemini eğitiminden çıkmak istiyorsanız Google-Extended için Disallow: / içeren bir grup ekleyin. Googlebot'u kısıtlamadan bırakın.
- OAI-SearchBot ve PerplexityBot için Allow: / içeren bir grup ekleyin, böylece arama erişimleri açıkça belirtilmiş olur.
- Hesap alanları, hazırlık (staging) klasörleri ve dahili arama sonuçları gibi özel yolları, tüm ajanlara uygulanan Disallow kurallarıyla koruyun.
- Dosyayı arama konsolu araçlarınızda ve bir robots.txt test aracında test edin; ardından yayınlayın ve her site sürümünden sonra yeniden kontrol edin.
Hangi AI tarayıcıları robots.txt'e uyar, hangileri uymayabilir?
Tarayıcı dokümantasyonu yayımlayan başlıca yapay zekâ şirketleri, bildirdikleri tarayıcıların genellikle robots.txt'e uyduğunu belirtir. Bu beyanlar temel alınabilir, ancak bunlar garanti değil, söz niteliğindedir ve her sağlayıcının ifadesi kendi dokümantasyonunda ayrıca kontrol edilmelidir.
Robots.txt bir yönerge niteliğindedir, zorlayıcı değildir. İyi davranan tarayıcılar onu okumayı tercih ettikleri için işe yarar. Kullanıcı tetiklemeli bazı istekler ve üçüncü taraf araçlar üzerinden yapılan bazı talepler aynı kuralları takip etmeyebilir. Üçüncü taraf raporlarına göre, bazı yanıt motorlarının içeriği, bildirdikleri adlarla eşleşmeyen kullanıcı aracısı (user agent) bilgileriyle taradığı da iddia edilmiştir. Doğrulayana kadar her kullanıcı aracısı dizesini bir iddia olarak değerlendirin.
Yaptırım uygulamanız gerekiyorsa robots.txt tek başına yeterli değildir. Özel içerikler için kimlik doğrulama, kötüye kullanım amaçlı trafik için hız sınırları veya bir web uygulama güvenlik duvarı (WAF) kullanın. Ayrıca ekip içinde yayımlanmış bir kuralın bir sinyal olduğunu, kilit olmadığını açıkça kabul edin.
Bir PerplexityBot veya GPTBot isteğinin gerçek olduğunu nasıl doğrularsınız?
Doğrulama, isteğin iddia edilen operatöre ait bir IP adresinden geldiğini kontrol etmek anlamına gelir. Kullanıcı aracısı dizesi kolayca kopyalanabildiği için tek başına hiçbir şeyi kanıtlamaz. Özel tarayıcı çalıştıran başlıca operatörler IP aralığı listelerini yayımlamıştır ve Google, Googlebot'u ters DNS sorgusu ve ardından ileri DNS sorgusuyla doğrulama yöntemini belgelemiştir.
Kontrol, bir kabuk (shell) veya log aracıyla kolayca yapılabilir. Loglarınızdaki IP adreslerini operatörün yayımlanmış listesiyle karşılaştırın ve bir ad iddia edip bu aralıkların dışından gelen her isteği doğrulanmamış sayın. Aralıklar değiştiği için her listeyi çektiğiniz tarihi kaydedin.
- Sunucu loglarınızdan kullanıcı aracısında GPTBot, OAI-SearchBot, PerplexityBot, Perplexity-User veya Googlebot geçen istekleri ayıklayın.
- Her iddia edilen ad için benzersiz kaynak IP adreslerini toplayın.
- Aralıklarını yayımlayan her operatör için IP adresinin listelenen aralıkların içinde olup olmadığını kontrol edin.
- Googlebot için IP adresinde ters DNS sorgusu çalıştırın ve ana makine adının Google'a ait olduğunu doğrulayın; ardından aynı IP'ye geri çözümlendiğini teyit etmek için ileri DNS sorgusu yapın.
- Her kaynağı doğrulanmış, doğrulanmamış veya yayımlanmış listesi olmayan olarak etiketleyin ve yalnızca doğrulanmış kaynaklardan gelen tarama sayılarına güvenin.
- Yeni IP adresleri ve yeni kullanıcı aracıları zamanla ortaya çıktığı için kontrolü ayda bir tekrarlayın.
Sunucu günlüklerinde AI tarayıcılarının temel B2B sayfalarınıza ulaştığını nasıl doğrularsınız?
Sunucu günlükleri, tarayıcıların neyi, ne zaman talep ettiğini ve sunucunuzun hangi durum kodunu döndürdüğünü gösterir. B2B bir site için bu talepleri satış hattını besleyen sayfalarla sınırlandırın; örneğin ürün, fiyatlandırma, entegrasyon, güvenlik ve karşılaştırma sayfaları. Ardından AI tarayıcılarının bu sayfalara ulaşıp ulaşmadığını kontrol edin. Bir tarayıcı temel bir sayfayı hiç talep etmiyorsa, robots.txt dosyanız ne derse desin o sayfayı alıntı için kullanamaz.
Üç noktaya bakın: hangi AI kullanıcı aracıları görünüyor, hangi URL yollarını talep ediyorlar ve bu talepler 200 durum kodu mu döndürüyor? Doğrulanmış AI tarayıcılarına yönelik sık 403, 404 veya 5xx yanıtları, robots.txt kararından çok bir güvenlik duvarı kuralı ya da bozuk bir şablon gibi erişim sorunlarına işaret eder.
- Ham erişim günlüklerini en az temsil edici bir dönem için dışa aktarın ve saat dilimini doğrulayın.
- AI kullanıcı aracılarına göre filtreleyin ve yukarıdaki yönteme göre doğrulanmış ile doğrulanmamış talepleri ayırın.
- Talepleri URL yoluna göre sayın; ürün, makale, dokümantasyon ve yasal gibi sayfa türlerine göre gruplayın.
- Doğrulanmış her tarayıcıya dönen durum kodlarını kontrol edin ve tekrarlayan 4xx veya 5xx örüntülerini düzeltin.
- Talep edilen yolları alıntılanmasını istediğiniz sayfalarla karşılaştırın ve eksikleri dahili bağlantı ve site haritanızla ilişkilendirin.
- Sonuçları kaydedin; böylece robots.txt veya site yapısında her değişiklikten sonra karşılaştırma yapabilirsiniz.
Rixe nerede devreye girer?
Manuel günlük incelemesi ilk denetim için faydalıdır, ancak yanıt motorlarının alıcıların sorduğu sorular için markanızı nasıl tanımladığını göstermez. Rixe gibi bir AI görünürlük platformu, bir dizi istem için asistanların bir markadan nasıl bahsettiğini ve alıntı yaptığını ölçer; bu da tarayıcı erişiminin görünürlüğe dönüşüp dönüşmediğini kontrol etmenizi sağlar.