23 Ağustos 2026
Robots.txt, sitenin kökündeki düz metin dosyasıyla uyumlu tarayıcılara tarama kuralları bildirir. İçerik yayınlayan bir ekip için ilk soru, hangi URL’nin neden kısıtlanacağıdır. Kopyalanmış uzun bir şablon bu kararı sizin yerinize vermez.
Temel direktifler
| Direktif | Kullanım amacı | Örnek |
|---|---|---|
| User-agent | Kuralların muhatabını seçer | User-agent: * |
| Disallow | Bir yolun taranmasını kısıtlar | Disallow: /ornek-klasor/ |
| Allow | Kısıtlanan yol içinde izin tanımlar | Allow: /ornek-klasor/acik.css |
| Sitemap | Harita konumunu bildirir | Sitemap: https://example.com/sitemap.xml |
Yol eşleşmesinde büyük/küçük harf önemlidir. Bu sözdizimi bir erişim yetkilendirmesi değildir; protokolün kapsamı RFC 9309 içinde tanımlanır.
Google’ın yorumunda çakışan Allow ve Disallow kurallarında eşleşen en uzun yol daha özeldir; yol uzunluğu eşitse daha az kısıtlayıcı kural uygulanır. Bu kuralı tüm botların aynı biçimde yorumladığını varsaymayın; Google’ın kural önceliği açıklamasını inceleyin.
Dosyanın hangi adreslere uygulandığı
robots.txt, bulunduğu servis adresine (şema, host ve port) ve o servisin kökündeki yollara uygulanır. Dosya, servis kökünde /robots.txt adıyla sunulan UTF-8 düz metin olmalıdır. Örneğin https://www.example.com/robots.txt, https://example.com/, http://www.example.com/ veya farklı port kullanan bir adres için otomatik kural oluşturmaz; alt alan adlarının da kendi robots.txt dosyası olabilir. Bu konum ve biçim RFC 9309 içinde tanımlanır. Site taşıması, HTTP/HTTPS veya www tercihi değiştiğinde her servis adresinin yanıtını ayrı doğrulayın. Uygulama örnekleri için robots.txt denetim rehberine geçin.
Seobify kaynak dosyasındaki sade örnek
7 Ekim 2026 tarihinde incelenen yerel public/robots.txt dosyası şu içeriğe sahipti:
User-agent: *
Disallow:
Sitemap: https://seobify.com/sitemap-index.xmlBoş Disallow satırı bu grupta bir yol kısıtlamaz. Bu kayıt kaynak dosyasının incelemesidir; canlı sunucunun aynı yanıtı verdiğini veya Google’ın güncel kopyayı aldığını kanıtlamaz.
Bir WordPress yönetim yolu, Astro sitesine varsayılan olarak eklenmemelidir. Benzer biçimde tüm parametreleri kapatmadan önce filtre, sayfalama ve kampanya URL’lerinin gerçek davranışını inceleyin. Karar kaydına örnek URL, amaç, mevcut canonical ve beklenen sonuç yazın.
Tarama, indeksleme ve gizlilik ayrı kararlardır
Robots engeli Google sonuçlarından kaldırmayı garanti etmez: başka sayfalardan bağlantı bulan Google, engellenmiş URL’yi içeriğini taramadan gösterebilir. Herkese açık bir sayfada noindex kullanacaksanız Google’ın bu yönergeyi okuyabilmesi için URL’nin taranmasına izin verilmelidir; robots.txt ile engellenmiş sayfada noindex okunamaz. Özel veri için kimlik doğrulama kullanın. Görünen içeriğin oluşması için gereken CSS ve JavaScript kaynaklarını gelişigüzel kapatmayın. Ayrıntılar Google’ın robots.txt giriş rehberinde ve noindex uygulama rehberinde açıklanır.
Yayın öncesi karar kaydı
- İzin vermek istediğiniz bir blog, bir hizmet, bir görsel ve bir CSS URL’si seçin.
- Kısıtlamak istediğiniz gerçek URL varsa gerekçesini yazın; gizli dosya adreslerini bu kayda koymayın.
- Dosya yanıtını ve hedef sayfanın meta/HTTP yönergelerini birlikte inceleyin.
- Değişiklikten sonra aynı örnekleri yeniden kontrol edin; sadece dosyanın açılmasını kabul ölçütü saymayın.
Ayrıntılı bot grubu ve yanıt kontrolü için robots.txt denetim rehberini kullanın. İndeksleme kararını canonical ve noindex karşılaştırmasıyla birlikte değerlendirin.
Sıkça sorulan sorular
Robots.txt olmayan site indekslenemez mi?
Dosyanın bulunmaması tek başına böyle bir sonuç oluşturmaz. İndeksleme sorununun kanıtını hedef URL’de arayın.
Her sitede aynı şablon kullanılabilir mi?
Hayır. Şablondaki dizinler ve parametreler sitenin gerçek URL davranışına göre seçilmelidir.
Daha çok Disallow daha iyi SEO demek mi?
Hayır. Önce hangi tarama sorununun çözüleceğini ölçün; önemli içeriğin erişimini yanlışlıkla kesmeyin.
Teknik kararların uygulanması için SEO danışmanlığı çalışma kapsamını inceleyebilirsiniz.