robots.txt Nedir? Arama ve AI Botları İçin Ayar
Yapay zeka destekli taslak; yayından önce baştan sona okunur ve iddialar birincil kaynaklara karşı kontrol edilir. İçerik üretim sürecimiz

robots.txt, sitenizin kök dizininde duran ve tarayıcılara sitenin hangi adreslerine istek atabileceklerini söyleyen düz metin dosyasıdır. Dosya taramayı yönetir, dizine eklemeyi değil: bir adresi Disallow ile kapatmak onu Google'dan gizlemez, yalnız Googlebot'un o adresi getirmesini durdurur. Arama motorları ve yapay zeka botları için dosya aynı söz dizimiyle yazılır; fark, her botun kendi adıyla ayrı bir kural grubu alabilmesi ve bazı şirketlerin arama, model eğitimi ve kullanıcı isteği için ayrı botlar kullanmasıdır.
robots.txt nedir, ne işe yarar?
robots.txt, Robot Hariç Tutma Protokolü'ne (RFC 9309) uyan tarayıcıların bir siteyi taramadan önce indirip okuduğu kurallar dosyasıdır. Google'ın tarayıcıları siteye girmeden önce bu dosyayı indirir, ayrıştırır ve sitenin hangi bölümünü tarayabileceğini buradan öğrenir.
Google dosyanın asıl işini tarama trafiğini yönetmek olarak tanımlıyor: sunucunun istek yüküyle zorlanmasını önlemek, önemsiz ya da birbirine çok benzeyen sayfaların taranmasını engellemek. Dosyanın yapamadığı üç şey de aynı belgelerde yazılı:
- Gizleme yapamaz. Engellenen sayfanın adresi, başka sitelerden link alıyorsa yine dizine girip arama sonucunda açıklamasız bir satır olarak görünebilir.
- Zorlayamaz. Kurallara uymak tarayıcının işidir. Googlebot ve güvenilir tarayıcılar uyar, her tarayıcı uymayabilir; gizli kalması gereken içerik parolayla korunur.
- Herkese aynı dili konuşamaz. Farklı tarayıcılar söz dizimini farklı yorumlayabilir. Buradaki eşleştirme kuralları Google'ın kendi yorumudur; başka bir şirketin botu için o şirketin belgesine bakılır.
Bir sayfayı arama sonucundan çıkarmanın doğru aracı noindex'tir ve noindex'in çalışması için sayfa robots.txt ile kapatılmamalıdır, çünkü Googlebot kapalı sayfadaki etiketi okuyamaz. İki talimatı birlikte kullanmadan önce robots.txt ile noindex farkı üzerine yazılmış kısa bölüme göz atmak yeterlidir. Search Console'da "robots.txt tarafından engelleniyor olsa da dizine eklendi" durumu görülüyorsa ve sayfanın aramada görünmesi istenmiyorsa, engelin kaldırılıp noindex'in kullanılması gerektiği kapalı sayfada noindex neden çalışmaz gerekçesiyle belirlenir.
Dosya nerede durur ve hangi adresleri kapsar?
robots.txt yalnız bulunduğu ana makine, protokol ve bağlantı noktası için geçerlidir ve sitenin en üst dizininde durmak zorundadır. Alt klasöre konan bir dosya hiç okunmaz; Google'ın belgesine göre tarayıcılar alt dizinlerdeki robots.txt dosyalarını kontrol etmez.
| Dosyanın adresi | Geçerli olduğu yer | Geçerli olmadığı yer |
|---|---|---|
https://ornek.com/robots.txt | https://ornek.com/ altındaki her adres | http://ornek.com/, https://www.ornek.com/, https://magaza.ornek.com/ |
https://www.ornek.com/robots.txt | Yalnız www alt alan adı | Çıplak alan adı ve öbür alt alan adları |
https://ornek.com/klasor/robots.txt | Hiçbir yer | Geçerli bir robots.txt değildir |
https://ornek.com:8181/robots.txt | Yalnız 8181 numaralı bağlantı noktası | Standart https adresi |
Blog ya da mağaza ayrı bir alt alan adında çalışıyorsa her biri kendi robots.txt dosyasını ister; ana alan adındaki dosya alt alan adına devredilmez. Aynı ayrılık sertifikada, ölçüm etiketinde ve site haritasında da vardır. Dört kalemin tamamını açılış günü için alt alan adının ayrı ayarları sayar.
Dosya biçimi için üç sınır var. Dosya UTF-8 kodlamalı düz metin olmalıdır; Google UTF-8 aralığı dışındaki karakterleri yok sayabilir. Dosya adı ve adresi büyük-küçük harfe duyarlıdır, yani Robots.txt ile robots.txt aynı dosya değildir. Google 500 kibibayt (KiB) üstündeki içeriği okumaz; sınıra yaklaşan bir dosya, hariç tutulan içeriği tek bir klasörde toplayarak küçültülür.
Söz dizimi: user-agent, allow, disallow ve sitemap
Google robots.txt içinde dört alanı destekler: user-agent, allow, disallow ve sitemap. Her geçerli satır bir alan, iki nokta üst üste ve bir değerden oluşur; # işaretinden sonrası yorumdur ve okunmaz. Google'ın robots.txt yorumu belgesi desteklenmeyen alanlara da örnek veriyor: crawl-delay gibi alanlar Google tarafından desteklenmez.
| Alan | Ne yapar | Dikkat |
|---|---|---|
user-agent | Kuralların hangi tarayıcıya uygulanacağını söyler; her grubun ilk satırıdır | Ad ve değer büyük-küçük harfe duyarsızdır |
disallow | Taranmaması gereken yolu verir | Yol / ile başlar ve büyük-küçük harfe duyarlıdır |
allow | Taranabilecek yolu verir; daha geniş bir disallow içinde istisna açar | Yolu boş bırakılan kural yok sayılır |
sitemap | Site haritasının tam adresini verir | Herhangi bir gruba bağlı değildir; birden fazla yazılabilir |
Varsayılan durum izindir. Dosyada hiçbir kural yoksa ya da bir tarayıcı için kural yazılmamışsa, o tarayıcı sitenin tamamını tarayabilir. Bu yüzden yalnız Allow: / satırlarından oluşan bir dosya Google için yeni bir izin açmaz; varsayılanı açıkça yazmış olur.
sitemap satırı haritanın yerini bildirmenin üç yolundan biridir ve Search Console'daki gönderimden farklı davranır: robots.txt'den bulunan harita Site haritaları raporunda listelenmez. Haritanın kendisi, raporundaki "Getirilemedi" durumu ve "okunamadı" hatasının nedenleri için site haritası okunamadı hatası üzerine hazırladığımız çözüm sırasını izleyin.
Gruplar nasıl eşleşir: en ayrıntılı user-agent kazanır
Bir tarayıcı için dosyadaki gruplardan yalnız biri geçerlidir: tarayıcının adıyla en ayrıntılı eşleşen grup. Google'ın belgesi iki kuralı daha ekliyor. Aynı tarayıcıya ait birden fazla grup varsa bunlar tek grupta birleştirilir; ama tarayıcıya özel bir grup ile User-agent: * grubu birleştirilmez. Grupların dosyadaki sırası da önemsizdir.
Bu kuralın sonucu ilk bakışta şaşırtıcıdır. Aşağıdaki dosyada /panel/ klasörü herkese kapatılmak istenmiş:
User-agent: *
Disallow: /panel/
User-agent: Googlebot
Allow: /
Googlebot için geçerli grup ikincisidir, çünkü adıyla eşleşen daha ayrıntılı grup odur. Yıldızlı grubun Disallow: /panel/ satırı Googlebot'a hiç uygulanmaz ve klasör Googlebot için açık kalır. Bir kuralın her bota uygulanması isteniyorsa, adıyla grubu olan her bota o satır ayrıca yazılır.
İkinci şaşırtıcı nokta yıldızın kapsamıdır. Google'ın robots.txt oluşturma belgesine göre User-agent: * çeşitli AdsBot tarayıcıları dışındaki bütün tarayıcılarla eşleşir; AdsBot tarayıcılarını engellemek için adları açıkça yazılmalıdır. Test ortamını User-agent: * ve Disallow: / ile kapattığını düşünen biri, Google'ın reklam tarayıcısı AdsBot'u kapatmamış olur.
Kendi dosyamız bu kuralın tam ortasında duruyor. Aşağıdaki blok, yayındaki nextgeoagency.com/robots.txt dosyasının kısaltılmış hâlidir; satırlar dosyadakiyle aynıdır, baştaki yorum satırları atlandı, aradaki gruplar ... ile gösterildi:
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /
# --- Klasik arama motorları ---
User-agent: Googlebot
Allow: /
...
User-agent: OAI-SearchBot
Allow: /
...
Sitemap: https://nextgeoagency.com/sitemap.xml
Dosyada Googlebot, Bingbot ve yapay zeka botlarının her biri kendi grubuna sahip. Bütün gruplar aynı şeyi söylediği için bugün bunun bir bedeli yok; ama yıldızlı gruba bir gün Disallow satırı eklenirse, adıyla grubu olan hiçbir bot o satırı görmez.
Allow ile Disallow çakışınca hangisi geçerli olur?
Google bir adrese birden fazla kural uyduğunda yol uzunluğu en fazla olan, yani en ayrıntılı kuralı uygular; eşit ayrıntıda çakışan kurallarda en az kısıtlayıcı olanı, yani allow kuralını seçer. Yol eşleştirmesi baştan yapılır ve iki joker karakter desteklenir: * herhangi bir karakter dizisinin yerini tutar, $ adresin sonunu işaretler.
| Kural | Eşleşir | Eşleşmez |
|---|---|---|
Disallow: /sepet | /sepet, /sepet-onay, /sepet/odeme, /sepet?adim=2 | /Sepet, /urun/sepet |
Disallow: /sepet/ | /sepet/, /sepet/odeme | /sepet, /sepet-onay |
Disallow: /*?siralama= | /kategori?siralama=fiyat | /kategori |
Disallow: /*.pdf$ | /belgeler/katalog.pdf | /belgeler/katalog.pdf?v=2 |
Disallow: /$ | Yalnız ana sayfa | Ana sayfanın altındaki her adres |
İlk satır kolay gözden kaçan bir hatayı gösterir: sondaki eğik çizgi unutulduğunda kural yalnız klasörü değil, aynı harflerle başlayan her adresi kapatır. /sepet yazan biri /sepet-kampanyasi adlı bir kampanya sayfasını da taramaya kapatmış olur. Eşleşme büyük-küçük harfe de duyarlıdır; /Sepet adresi bu kuralın dışında kalır.
Google'ın belgesinden uyarlanmış bir çakışma örneği:
User-agent: *
Disallow: /urunler/
Allow: /urunler/indirim
/urunler/indirim-kosullari adresine iki kural da uyar; Allow: /urunler/indirim daha uzun bir yolla eşleştiği için o uygulanır ve adres taranır.
Beş temel robots.txt örneği
Aşağıdaki bloklar beş temel ihtiyaca karşılık gelir ve her biri ayrı bir dosya olarak okunmalıdır.
-
Bütün siteyi taramaya açmak. Kural yazmamakla aynı sonucu verir; açık yazmak niyeti belgeler.
User-agent: * Allow: / Sitemap: https://ornek.com/sitemap.xml -
Yönetim panelini kapatmak, panelde sayfanın çizilmesi için gereken tek dosyayı açmak.
User-agent: * Disallow: /yonetim/ Allow: /yonetim/ajax.php -
Site içi arama sonuçlarını ve sıralama parametrelerini kapatmak. Google'ın tarif ettiği kullanım budur: birbirine benzeyen, önemsiz sayfaların taranmasını önlemek.
User-agent: * Disallow: /arama Disallow: /*?siralama= -
Tek bir botu dışarıda bırakmak. Yalnız adı geçen bot etkilenir; geri kalanlar varsayılan izinle devam eder.
User-agent: GPTBot Disallow: / -
Yayına açılmamış test sitesini kapatmak. Bu blok taramayı durdurur ama adresin dizine girmesini kesin olarak önlemez; test sitesi için asıl koruma paroladır.
User-agent: * Disallow: /
Beşinci blok, yayına alınan sitede unutulduğunda bütün siteyi Google'dan çeker. Hosting değişikliğinde ya da yeni site tesliminde bu satır ilk saatte kontrol edilir; hosting değiştirirken SEO yapılacakların sırasında robots.txt, yeni sunucu yayına geçer geçmez açılan ilk dosyadır.
WordPress'te robots.txt nerede, nasıl değişir?
WordPress, kök dizinde gerçek bir dosya yüklemeseniz de /robots.txt adresine bir cevap üretir. Bu cevabı yazan do_robots() işlevidir ve WordPress geliştirici belgesi işlevin kaynak kodunu gösteriyor: varsayılan çıktı User-agent: *, yönetim paneli yolunu kapatan bir Disallow satırı ve admin-ajax.php dosyasını açan bir Allow satırından ibarettir. Çıktı robots_txt filtresiyle değiştirilebilir; bir eklenti ya da tema bu filtreyi kullanarak dosyaya satır ekleyebilir.
İki pratik sonuç var. Birincisi, kökte gerçek bir robots.txt dosyası varsa sunucu yapılandırmasına göre o dosya sunulabilir ve eklentideki ayar ekranda değişse de yayındaki dosya değişmeyebilir. Hangisinin yayında olduğunu anlamanın tek kesin yolu adresi tarayıcıda açmaktır. İkincisi, WordPress'in Ayarlar menüsündeki Okuma ekranında bulunan "Discourage search engines from indexing this site" kutusu (Türkçe arayüzde aynı ekrandaki arama motoru görünürlüğü seçeneği) 5.3 sürümünden beri robots.txt'ye Disallow: / yazmıyor; WordPress belgesine göre onun yerine sayfaların başına noindex, nofollow robots meta etiketi ekliyor. Ayar ekranındaki bir kutunun robots.txt'yi mi yoksa sayfa meta etiketini mi değiştirdiği panelden anlaşılmaz, WordPress SEO ayarlarının sayfaya gerçekte ne yazdığını sayfa kaynağı gösterir.
Bu ikinci değişiklik teşhisi etkiler. Test ortamından canlıya taşınan bir WordPress sitesinde kutu işaretli kaldıysa, robots.txt temiz görünür ama bütün sayfalar noindex taşır. Bu durumun Search Console'da hangi durum adıyla görüneceğini ve neden robots.txt'ye bakarak bulunamayacağını sayfa neden dizinde yok teşhis akışı gösterir.
Dosya bulunamazsa ya da sunucu hata verirse ne olur?
Google robots.txt isteğine dönen durum koduna göre davranır ve en tehlikeli durum dosyanın yokluğu değil, sunucunun hata vermesidir. Belgedeki davranış şöyle özetlenebilir:
| Yanıt | Google ne yapar |
|---|---|
| 2xx | Dosyayı sunulduğu gibi işler |
| 3xx | En az beş yönlendirmeyi izler, sonra dosyayı 404 sayar; JavaScript ya da meta yenileme yönlendirmesini izlemez |
| 4xx (429 hariç) | Geçerli bir robots.txt yokmuş gibi davranır, yani tarama kısıtlaması olmadığını varsayar |
| 5xx ya da ağ hatası | İlk 12 saat siteyi taramayı durdurur; sonra 30 güne kadar son iyi sürümü kullanır; önbellekte sürüm yoksa kısıtlama yok sayar; 30 gün sonra site genel olarak erişilebilirse dosya yokmuş gibi davranır |
Tablonun ilk dersi, bir siteyi taramaya kapatmanın yolunun robots.txt adresine 401 ya da 403 döndürmek olmadığıdır; Google bu kodları tarama hızını sınırlamak için kullanmamayı söylüyor ve 4xx kodlarını "kısıtlama yok" diye okuyor. İkinci ders, robots.txt adresinin uzun süre 5xx döndüğü bir sitenin taramada duraksayabileceğidir. robots.txt isteği zaman aşımına uğruyor ya da 5xx dönüyorsa, sayfalar tarayıcıda açılırken bile tarama durabilir. Sunucunun cevap kodu yalnız robots.txt için değil her adres için taramayı etkiler, çünkü Googlebot 2xx'ten 5xx'e durum kodlarında aynı davranmaz ve örneğin 5xx alınca taramayı yavaşlatır.
Önbellek de değişikliğin ne zaman etkili olacağını belirler. Google robots.txt içeriğini genellikle 24 saate kadar önbellekte tuttuğunu, yenileme mümkün değilse daha uzun tutabileceğini ve Cache-Control: max-age başlığına göre bu süreyi uzatıp kısaltabileceğini yazıyor. Kendi dosyamızın yanıtında 7 Kasım 2026'da ölçülen başlık Cache-Control: public, max-age=14400, yani dört saatti.
Yapay zeka botları için robots.txt: arama, eğitim ve kullanıcı isteği
Yapay zeka botları için robots.txt aynı söz dizimiyle yazılır, ama karar botun adına değil işine göre verilir. OpenAI bu ayrımı OpenAI'ın tarayıcı belgesinde kendi botları için açıkça kuruyor ve her ayarın ötekilerden bağımsız olduğunu yazıyor:
| Ad | Belgedeki işi | robots.txt ile ilişkisi |
|---|---|---|
OAI-SearchBot | Siteleri ChatGPT'nin arama özelliklerinde göstermek | Engellenen site ChatGPT arama cevaplarında gösterilmez, gezinme bağlantısı olarak yine çıkabilir |
GPTBot | Üretken yapay zeka temel modellerinin eğitiminde kullanılabilecek içeriği taramak | Engellemek, içeriğin eğitimde kullanılmaması gerektiğini bildirir |
ChatGPT-User | Kullanıcının ChatGPT'deki isteği üzerine sayfa açmak | Kullanıcı başlattığı için robots.txt kuralları uygulanmayabilir; arama görünürlüğünü belirlemez |
OAI-AdsBot | ChatGPT'de reklam olarak gönderilen açılış sayfasını denetlemek | Yalnız reklam olarak gönderilen sayfaları ziyaret eder, topladığı veri model eğitiminde kullanılmaz |
Aynı belge iki ayrıntı daha veriyor: robots.txt değişikliğinin arama sonuçlarına yansıması yaklaşık 24 saat sürebiliyor ve OpenAI her botun IP aralıklarını ayrı bir adreste yayımlıyor. Yani GPTBot'u engelleyip OAI-SearchBot'a izin veren bir site, eğitim tercihini bildirirken ChatGPT aramasındaki görünürlüğünü korur; ikisini birlikte engelleyen site ise ikisinden de çıkar.
Google tarafındaki benzer ad Google-Extended'dir ve bir tarayıcı değildir. Google'ın tarayıcı listesi bu adın ayrı bir kullanıcı aracısı dizesi olmadığını, taramanın mevcut Google kullanıcı aracılarıyla yapıldığını ve adın yalnız robots.txt içinde bir kontrol jetonu olarak kullanıldığını yazıyor. Jeton, Google'ın taradığı içeriğin gelecek Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki temellendirmede kullanılıp kullanılamayacağını yönetir; aynı belgeye göre bir sitenin Google Arama'ya dahil edilmesini etkilemez ve sıralama sinyali olarak kullanılmaz. Belge ayrıca Google'ın 2027'nin başlarında user-agent: __usage_ai-training biçimindeki ortak eğitim tercihi sinyalini desteklemeyi planladığını not ediyor; bu bir plan, yürürlükte değil.
Bot bot izin tablosu ve bir llms.txt dosyasının robots.txt'den farkı burada tekrarlanmadı; o tabloyu llms.txt ve AI tarayıcı yönetimi için hazırladık. Dosyanın izin vermesi ise botun siteye girebildiği anlamına gelmez: güvenlik duvarı bir botu robots.txt'ye hiç bakmadan 403 ile çevirebilir. Bunu kendi adresinizde sınamak için curl ile bot erişim doğrulaması komutlarını kullanın; komut satırı istemeyen bir yol olarak ücretsiz AI bot erişim testi robots.txt dosyanızı sekiz bot adı için ayrıştırır ve adresinize yedi bot kimliğiyle istek atar.
ChatGPT tarafında bu iki katmanı birlikte okumak gerekir. ChatGPT SEO hizmeti robots.txt dosyanızın OAI-SearchBot, GPTBot ve ChatGPT-User için ne söylediğini ayrı ayrı okur, ardından sunucunun ve güvenlik duvarının bu ajanlara gerçekte ne döndürdüğünü istekle test eder; izin kuralları OpenAI'ın yayımladığı IP listesine göre kurulur.
Cloudflare yönetilen robots.txt: dosyanız neden farklı görünebilir?
Siteniz Cloudflare arkasındaysa, ziyaretçinin gördüğü robots.txt sunucunuzdaki dosyayla aynı olmayabilir. Cloudflare'in robots.txt ayarı belgesi koşulu açıkça yazıyor: "Enable Bot Preference Sync" açıksa ve Search, Agent ya da Training politikalarından en az biri engelleme konumundaysa (Search ve Agent için Block ya da Block on pages with ads, Training için Disallow) Cloudflare kendi yönetilen kurallarını dosyanızın başına ekler. Bütün politikalar izin konumundaysa eklenecek bir şey yoktur ve dosyanız değişmeden sunulur.
Belgenin "Existing robots.txt file" bölümü birleşmeyi şöyle tarif ediyor: "Cloudflare will prepend our managed robots.txt before your existing robots.txt, combining both into a single response." Yani sizin dosyanız silinmez; başına bir blok eklenir. Belgedeki örnekte bu blok Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ve meta-externalagent için Disallow: / yazıyor. Sunucunuzda hiç robots.txt yoksa Cloudflare bu kuralları taşıyan yeni bir dosya oluşturup sunuyor.
Birleşmenin sizin dosyanızla çelişmesi mümkündür. Sizin dosyanızda User-agent: GPTBot altında Allow: /, başa eklenen blokta aynı ad altında Disallow: / olabilir. Google'ın kendi tarayıcıları için yazdığı iki kural (aynı ada ait gruplar birleşir; eşit uzunluktaki çakışmada en az kısıtlayıcı kural kazanır) birlikte okunursa, aynı çakışma Google-Extended için kurulduğunda sonucun izin yönüne düşmesi beklenir; bu bizim çıkarımımızdır, Google'ın bu birleşik dosya için ayrıca yazdığı bir şey yok. Başka şirketlerin ayrıştırıcılarının aynı çakışmayı nasıl çözdüğü okuduğumuz belgelerde yazmıyor. Sonuç, sizin tercihinizin bot bot belirsizleşmesidir.
Belge bir uyarı daha taşıyor: Search Console, Content-Signal gibi standarda yeni eklenen satırlar için zaman zaman "Syntax not understood" bildirebiliyor; Cloudflare bu bildirimlerin tarama hızına ya da SEO'ya bir etkisini gözlemlemediğini yazıyor. Google'ın kendi belgesi ise desteklenen alanları user-agent, allow, disallow ve sitemap olarak sayıyor ve crawl-delay gibi diğer alanların desteklenmediğini yazıyor.
Kendi sitemizde bu ayar kapalı tutuluyor. 7 Kasım 2026'da canlı robots.txt adresinden indirilen dosya, depodaki public/robots.txt ile bayt bayt aynı çıktı; başa eklenmiş bir blok yoktu.
Değişiklikten sonra: robots.txt raporu ve doğrulama sırası
robots.txt değişikliği üç yerden doğrulanır: canlı dosyanın kendisi, Search Console'daki robots.txt raporu ve tek tek adresler için URL Denetleme aracı. Sıra önemlidir; ilk adım atlanırsa sonraki iki adım eski bir dosyayı sınayabilir.
- Canlı dosyayı açın. Adresi tarayıcıda açın ve değişikliğin orada olduğunu görün. Cloudflare ya da başka bir ara katman kullanıyorsanız dosyayı sunucunun dışından, örneğin
curlile indirin; gördüğünüz içerik yazdığınız içerik mi? - Search Console robots.txt raporuna bakın. Yardım sayfasına göre rapor Google'ın bulduğu robots.txt dosyalarını, son tarama zamanını ve uyarı ya da hataları gösterir. Getirme durumu "Getirildi", "Getirilmedi - Bulunamadı (404)" ya da "Getirilmedi - Başka bir neden" olabilir. "Sürümler" bölümü son 30 gündeki farklı getirmeleri listeler. Rapor yalnız alan düzeyindeki mülklerde kullanılabilir: alan mülkü ya da yol içermeyen bir URL önek mülkü.
- Gerekirse yeniden tarama isteyin. Önemli adreslerin engeli kaldırıldıysa ya da bir getirme hatası düzeltildiyse rapordaki dosyanın yanındaki menüden "Yeniden tarama isteğinde bulun" seçilebilir. Yardım sayfası bu isteğin genellikle gerekmediğini, çünkü Google'ın dosyayı sık yeniden taradığını, ve engeli kaldırılan adreslerin hemen taranacağının kesin olmadığını yazıyor.
- Tek adresi sınayın. Belirli bir sayfanın engelli olup olmadığını URL Denetleme aracı söyler; canlı testteki "Taramaya izin verildi mi?" satırı bu sorunun cevabıdır.
- Yapay zeka botlarını ayrıca sınayın. Search Console yalnız Google'ın görünümünü gösterir. OpenAI'ın belirttiği yaklaşık 24 saatlik gecikmeden sonra aynı sınama bot kimlikleriyle tekrarlanır.
robots.txt bir kez yazılıp unutulan bir dosya değildir: yeni bir klasör, alt alan adı ya da eklenti eklendiğinde dosyanın o değişikliği ne yönde etkilediği yukarıdaki beş adımla yeniden sınanır.
Sıkça Sorulan Sorular
robots.txt nedir?
robots.txt, sitenin kök dizininde duran ve tarayıcılara sitenin hangi adreslerine istek atabileceklerini söyleyen düz metin dosyasıdır. Dosya user-agent satırıyla başlayan kural gruplarından oluşur; her grup allow ve disallow kurallarıyla taranacak ve taranmayacak yolları belirtir, sitemap satırı da site haritasının adresini verir. Dosya taramayı yönetir, dizine eklemeyi değil: bir sayfayı arama sonucundan çıkarmak için noindex kullanılır.
robots.txt dosyası olmazsa ne olur?
Google dosyanın yokluğunu kısıtlama yokluğu olarak okur. robots.txt adresi 404 ya da 429 dışında bir 4xx kodu döndüğünde Google geçerli bir dosya yokmuş gibi davranır ve sitenin tamamını tarayabileceğini varsayar. Asıl risk sunucu hatasıdır: adres 5xx döndürürse Google ilk 12 saat taramayı durdurur, sonra 30 güne kadar elindeki son iyi sürümü kullanır.
Allow ve Disallow aynı adrese uyarsa hangisi geçerli olur?
Google yol uzunluğu en fazla olan, yani en ayrıntılı kuralı uygular. Disallow: /urunler/ ve Allow: /urunler/indirim birlikte yazıldığında /urunler/indirim-kosullari adresi taranır, çünkü allow kuralı daha uzun bir yolla eşleşir. İki kural aynı uzunluktaysa Google en az kısıtlayıcı olanı, yani allow kuralını seçer. Başka şirketlerin tarayıcıları için o şirketin belgesine bakılmalıdır.
GPTBot'u engellersem ChatGPT'de görünmez miyim?
OpenAI'ın belgesine göre hayır, iki ayar birbirinden bağımsızdır. GPTBot model eğitimi için tarar; onu engellemek içeriğin eğitimde kullanılmaması gerektiğini bildirir. ChatGPT'nin arama özelliklerinde görünmeyi OAI-SearchBot belirler ve OpenAI arama sonuçlarında yer almak için bu bota izin verilmesini öneriyor. OAI-SearchBot'u engelleyen site ChatGPT arama cevaplarında gösterilmez, yalnız gezinme bağlantısı olarak çıkabilir.
robots.txt değişikliği ne zaman etkili olur?
Google robots.txt içeriğini genellikle 24 saate kadar önbellekte tuttuğunu ve bu süreyi Cache-Control: max-age başlığına göre uzatıp kısaltabileceğini yazıyor. OpenAI ise robots.txt değişikliğinin ChatGPT arama tarafına yansımasının yaklaşık 24 saat sürebileceğini belirtiyor. Acil bir düzeltmede Search Console'daki robots.txt raporundan yeniden tarama istenebilir, ama engeli kaldırılan adreslerin hemen taranması kesin değildir.