Robots.txt Denetimi: Bot Grupları ve HTTP Yanıtları

Bu rehber, robots.txt tanımından sonra gelen uygulama sorusunu yanıtlar: aynı dosyaya bakan iki bot neden farklı kurallarla karşılaşabilir ve dosyanın erişim hatası nasıl araştırılır? Temel sözdizimi için robots.txt başlangıç rehberini okuyabilirsiniz.

Robots.txt, tarayıcılara yönelik bir tarama protokolüdür; erişim yetkilendirmesi veya gizlilik kontrolü değildir. Dosyada yazan yollar herkese açık biçimde görülebilir. Özel içeriği korumak için robots.txt yerine kimlik doğrulama ve erişim denetimi kullanın (RFC 9309, güvenlik değerlendirmeleri).

Bot gruplarının ortak kuralı devraldığını varsaymayın

Aşağıdaki kurgu bir eğitim örneğidir; Seobify’ın canlı politikası değildir:

User-agent: *
Disallow: /ornek-arsiv/

User-agent: Googlebot
Disallow: /ornek-test/

Google’ın grup seçiminde Googlebot kendi grubunu kullanır; yıldız grubundaki arşiv kuralını otomatik devralmaz. Ortak kısıtlama istiyorsanız ilgili gruba da bilinçli eklemelisiniz. Ayrı grup eklemeden önce hangi URL’lerin izninin değişeceğini bir karar tablosuna yazın.

Grup Seçimini Yerelde Çalıştırın

Bot grubu seçimi örneğini indirin ve Node.js ile node robots-group-lab.mjs çalıştırın. Örnek; özel grubun yıldız grubunu devralmaması, en uzun bot adı eşleşmesi, aynı botun tekrar eden grupları ve Sitemap satırının grup ayırmaması için kontroller içerir. Hatalı giriş ve desteklenmeyen direktif örnekleri de reddedilir.

Bu dosya sınırlı bir eğitim uygulamasıdır: yalnız ASCII bot ürün adları ve User-agent/Allow/Disallow/Sitemap satırlarıyla grup seçimini gösterir. Allow/Disallow URL eşleşmesini, HTTP hata veya önbellek davranışını, bot kimliğinin doğruluğunu ve Google taramasını test etmez. Seçilen kurallar, bir URL için tarama izni sonucu değildir. Çıktıyı üretim robots.txt doğrulayıcısı olarak kullanmayın.

HTTP yanıtı ve önbellek kontrolü

Google’ın belgelenmiş davranışını aşağıdaki kısa özetle inceleyin:

Yanıt / durum	Denetimde dikkate alınacak davranış
2xx	Gelen kurallar işlenir
3xx	Google yönlendirmeleri izler; robots.txt için izleme sınırı aşılırsa dosya 404 gibi değerlendirilir
4xx, 429 hariç	Tarama kısıtlaması yok kabul edilir
Normal önbellek	Google dosyayı genellikle 24 saate kadar önbelleğe alır; yenileme mümkün değilse daha uzun tutabilir. Cache-Control: max-age süresini etkileyebilir
5xx, ilk 12 saat	Site taraması durur; dosya yeniden denenir
5xx, izleyen 30 gün	Google yeni sürümü yeniden isterken son iyi kopyayı kullanır; hiç önbellek yoksa kısıtlama yok varsayar
30 gün sonrası	Sitenin genel erişilebilirliğine göre davranış değişir

Normal önbellek süresi ile 5xx sırasında kullanılan son iyi kopya davranışı ayrı durumlardır. HTTP başlıklarını ve gövdeyi birlikte kaydedin; Cache-Control başlığını ve yönlendirme zincirini not edin. Eski kopyanın kullanılabilmesi nedeniyle tek anlık yanıt Google’ın gördüğü sürümü kanıtlamaz. Google’ın dosya sınırı 500 KiB’dir. Kurallar dosyanın alındığı host, protokol ve port kapsamındadır. Kaynak: Google robots.txt teknik belirtimi.

Denetimi çalıştıran agent için kayıt biçimi

Her ortam için aşağıdaki alanları doldurun. Bilinmeyen değerleri başarılı olarak işaretlemeyin.

Alan	Kaydedilecek kanıt
Ortam ve zaman	Kaynak kod, yerel build veya canlı URL; kontrol zamanı
robots URL	Tam origin ve kök dosya adresi
Yanıt	HTTP kodu, son URL, içerik türü ve gövde
Hedef örnek	Blog, hizmet, kaynak dosyası veya parametreli URL
Seçilen grup	İncelenen bot ve ona uygulanması beklenen kurallar
Sayfa yönergesi	Meta robots, X-Robots-Tag ve canonical
GSC kanıtı	Robots.txt raporu yalnızca Domain mülkünde veya yol içermeyen ana makine düzeyi URL-prefix mülkünde bulunur; son kontrol zamanı, getirme durumu ve ayrıştırma sorunlarını kaydedin. Hedef URL için URL Denetleme sonucunu ayrı kaydedin; mülk/erişim yoksa bilinmiyor (rapor kapsamı)

Örneğin yerel kaynak doğruyken CDN eski dosyayı sunabilir. Bu durumda kaynağı yeniden yazmak yerine canlı yanıtla dağıtım kaydını karşılaştırın. Robots.txt taramayı yönetir; URL’yi arama sonuçlarından çıkarmak için noindex gibi bir dizine eklenme yönergesi gerekir. Google’ın bu yönergeyi okuyabilmesi için URL’nin taramaya açık olması gerekir. Disallow ile engellenen bir URL, başka sinyallerle sonuçlarda yine görünebilir (Google’ın noindex açıklaması).

Kabul ve geri alma

Değişiklik öncesi dosyayı saklayın. Kritik URL örneklerinin beklenen grup altında açık kaldığını, kısıtlamanın amaçlanan örnekte uygulandığını ve sayfa yönergeleriyle çelişmediğini doğrulayın. Canlı dağıtım sonrası aynı kayıtları yenileyin. Beklenmeyen kısıtlama varsa önceki dosyaya geri dönün; tarama veya sıralama artışını test başarısıyla eşitlemeyin.

Sıkça sorulan sorular

Search Console erişimi olmadan denetim yapılabilir mi?

Kaynak ve canlı HTTP kontrolleri yapılabilir. Google’ın raporladığı son indirme ve URL sonucu doğrulanmamış kalır.

Yeni bot grubu eklemek zorunlu mu?

Hayır. Önce ayrı politika gereksinimini tanımlayın ve değişen URL izinlerini gözden geçirin.

İndeksleme ayrımı için canonical ve noindex rehberine, kapsamlı inceleme için teknik SEO kontrol listesine geçebilirsiniz.