22 Eylül 2026
Bir web sitesinin kök dizininde yer alan robots.txt dosyası, arama motoru örümceklerine (Googlebot, Bingbot, YandexBot) sitenizin hangi bölümlerini tarayabileceğini veya hangi dizinlere girmemesi gerektiğini bildiren standart protokoldür (Robots Exclusion Protocol - REP).
Hatalı bir Disallow: / kuralının sitenizin taranmasını engelleyebileceği, buna karşılık doğru kurgulanmış bir dosyanın sunucu yükünü hafifletip Tarama Bütçesini (Crawl Budget) verimli kıldığı robots.txt prensipleri aşağıda açıklanmaktadır.
1. Standart Robots.txt Sözdizimi ve Direktifleri
[Robots.txt Dosyası Mimarisi]
├── User-agent: * (Tüm Arama Motoru Botları İçin Geçerli)
├── Disallow: /admin/ (Yönetim Panelini Taramaya Kapat)
├── Disallow: /*?*sort= (Sıralama Parametrelerini Engelleyerek Tarama Bütçesini Koru)
├── Allow: /admin/login.css (Tasarımı Görebilmesi İçin Kritik CSS Dosyasına İzin Ver)
└── Sitemap: https://seobify.com/sitemap-index.xml (Site Haritası Konumunu Bildir)| Direktif | İşlevi | Örnek Kullanım |
|---|---|---|
User-agent | Kuralın hangi arama motoru botu için geçerli olduğunu tanımlar. | User-agent: Googlebot veya User-agent: * |
Disallow | Botun taramasını engellemek istediğiniz URL veya dizin yolu. | Disallow: /sepetim/ |
Allow | Engellenmiş bir dizinin içindeki belirli bir dosyaya izin vermek. | Allow: /wp-admin/admin-ajax.php |
Sitemap | XML site haritasının mutlak (absolute) web adresini belirtir. | Sitemap: https://seobify.com/sitemap.xml |
2. En Sık Yapılan 3 Robots.txt Hatası
1. HATALI GENEL ENGELLEME: Tüm Siteyi Taramaya Kapatmak
User-agent: *
Disallow: / <-- (Tüm sitenin arama motorları tarafından taranmasını durdurur)
2. CSS VE JAVASCRIPT DOSYALARINI ENGELLEMEK
Disallow: /assets/css/ <-- (Arama botlarının sayfayı doğru render etmesini engeller)
3. GİZLİ SAYFALARI ROBOTS.TXT İLE SAKLAMAYA ÇALIŞMAK
Disallow: /gizli-raporlar/ <-- (Robots.txt herkese açıktır; güvenlik yöntemi değildir)Önemli Not: Gizli veya yetki gerektiren sayfaları korumak için
robots.txtdeğil, sunucu seviyesinde Kullanıcı Kimlik Doğrulaması (Authentication) kullanılmalıdır.
3. Robots.txt vs Noindex: Temel Farklar
- Robots.txt ile Engellenen Sayfa: Botlar sayfayı tarayamaz; ancak harici bağlantılar varsa arama motoru sayfayı gövdesini okumadan dizinde listeleyebilir.
- Noindex Etiketi ile İşaretlenen Sayfa: Bot sayfayı tarar,
<meta name="robots" content="noindex">yönergesini okur ve sayfayı arama dizininden çıkarır. - Önemli Kural: Bir sayfayı
robots.txtile engellerseniz, bot sayfadakinoindexetiketini okuyamaz.
Sıkça Sorulan Sorular
Robots.txt dosyası nerede barındırılmalıdır?
Daima alan adının tam kök dizininde (Root) bulunmalıdır: https://seobify.com/robots.txt. Alt klasörlerde (/blog/robots.txt) yer alan dosyalar geçersizdir.
Dosya boyutu sınırı nedir?
Googlebot maksimum 500 KB boyutundaki robots.txt dosyalarını işler; dosya boyutu bu sınırın altında tutulmalıdır.
Stratejik Sonuç
Doğru yapılandırılmış bir robots.txt dosyası, sunucu kaynaklarınızı korurken arama motorlarının tarama verimliliğini artırır. Teknik altyapı optimizasyonları için SEO danışmanlığı çözümlerimizi inceleyin.
İlgili Yazılar
- Robots.txt Dosyası Nedir? Kurallar, Tarama Bütçesi ve Hata Rehberi
- Robots.txt Dosyasında En Sık Yapılan 8 Kritik Hata ve Çözümü
- llms.txt Dosyası Nedir? Yapay Zekaya Temiz Markdown Besleme Rehberi
- Google Disavow Tool: Zararlı Linkleri Reddetme Rehberi
- Google E-E-A-T Nedir? SEO İçin Neden Önemli?
Daha kapsamlı destek için: SEO Danışmanlığı hizmetimize göz atın.