AI Bot Erişim Testi
Bir adrese GPTBot, ClaudeBot, PerplexityBot ve Googlebot gibi tarayıcılar gerçekten girebiliyor mu? robots.txt analizi ve gerçek bir istekle test edin.
robots.txt bir yapay zeka tarayıcısına "gir" dese bile, sunucunuzun önündeki güvenlik katmanı (WAF, CDN kuralı, bot yönetimi ürünü) aynı tarayıcıyı 403 ile geri çevirebilir. Bu iki katman birbirinden habersiz çalışır: biri dosya, diğeri çalışma zamanı kararı.
Bu araç iki ayrı kontrolü bir arada yapar: robots.txt dosyanızı indirip yedi bot token'ı için (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Googlebot) hangi yolun izinli olduğunu hesaplar; sonra verdiğiniz adrese yedi farklı user-agent ile gerçek bir istek atıp durum kodunu, yönlendirmeyi ve engelleme belirtilerini karşılaştırır.
İstekler bu sitenin sunucusundan (Cloudflare ağından) gönderilir — ilgili tarayıcının kendi altyapısından değil. Bunun ne anlama geldiği ve sonuçların nasıl okunması gerektiği aşağıda "Bu aracın sınırları" bölümünde ayrıca anlatılıyor; sonuç bir garanti değil, o anki bir gözlemdir.
robots.txt açıkça izin verirken bir güvenlik katmanının GPTBot'u 403 ile geri çevirdiği gerçek bir örneği AI Botları Sitenize Girebiliyor mu? Doğrulama Rehberi başlıklı yazımızda ölçtük; bu araç o rehberdeki manuel curl testinin bir kısmını sizin için otomatikleştirir.
Adresi girip "Test et" dediğinizde sunucumuz önce sitenizin kök dizinindeki robots.txt dosyasını bir kez indirir (gerekirse en fazla beş yönlendirmeyi kendisi takip eder) ve yedi bot token'ı için Allow/Disallow kararını hesaplar — bu hesaplama RFC 9309'daki grup birleştirme, en uzun eşleşme ve eşitlikte Allow kurallarını izler.
Ardından verdiğiniz adrese yedi ayrı istek atılır (aynı anda en fazla üçü, robots.txt isteği bunlardan bağımsız ayrı gider): biri referans için gerçek bir tarayıcı user-agent'ı taşır, diğer altısı GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot ve Googlebot için belgelerde yayımlanan dizeleri taşır (tam dizesi yayımlanmayan bot için belgelenen token'ı taşıyan bir dize kullanılır). Her istek en fazla sekiz saniye beklenir, yönlendirmeler (3xx) takip edilmez — hedef adres olduğu gibi raporlanır.
Sayfa yalnızca durum kodu, süre, içerik uzunluğu, X-Robots-Tag başlığı, meta robots noindex tespiti ve varsa yönlendirme adresini gösterir; sayfanın gerçek içeriği bu sitenin sunucusuna kaydedilmez, size de gövde olarak geri dönmez.
Bir adres girin
Tam adresi (https:// ile) yazın; kendi sitenizi test edebileceğiniz gibi izniniz olan başka bir adresi de test edebilirsiniz.
Sonuç bir anlık gözlemdir, kesin hüküm değildir; aşağıdaki noktaları okumadan bir botun "kesin engellendiği" veya "kesin izinli olduğu" sonucuna varmayın.
- İstekler bu sitenin sunucusundan (Cloudflare ağından), ilgili şirketin gerçek bot IP aralıklarından değil gönderilir. IP doğrulaması yapan sistemler (ör. doğrulanmış bot listesi kullanan bazı WAF ürünleri) sahte user-agent'ı taklitçi sayıp engelleyebilir — bu durumda araç "engelli" gösterir ama gerçek bot muhtemelen geçer. Tersi de mümkündür: IP doğrulaması yapmayan bir sistem gerçek botu engelleyip bizim isteğimize izin verebilir.
- Sonuç bu yüzden kesin bir hüküm değil, user-agent tabanlı bir engeli gösterir; IP tabanlı kararları göstermez.
- robots.txt analizi tam tersine deterministiktir: aynı dosya için sonuç her zaman aynıdır, ağ koşuluna bağlı değildir.
- Bir botun o anda başarılı istek atması, o botun sizi bir yanıtta anacağını veya sıralayacağını göstermez; bu araç yalnızca erişim katmanını test eder.
- Site o anda yoğun trafik altındaysa veya geçici bir hata veriyorsa sonuç yanıltıcı olabilir; testi farklı bir zamanda tekrarlamak faydalıdır.
Sıkça sorulan sorular
Engelin kaynağını birlikte bulalım mı?
Ücretsiz iş analizi bir ön görüşmedir; test sonucunuzu ve sunucu/güvenlik katmanınızı birlikte konuşuruz.
Ücretsiz iş analizi isteyin