Robots.txt Dosyası Nedir? Kurallar, Tarama Bütçesi ve Hata Rehberi

Bir web sitesinin kök dizininde (site.com/robots.txt) barındırılan ve Robots Exclusion Protocol (REP) standartlarına göre çalışan düz metin dosyasına robots.txt adı verilir. Arama motoru botları (Googlebot, Bingbot, YandexBot vb.) bir web sitesini ziyaret ettiklerinde ilk olarak bu dosyayı okur ve hangi dizinlerin taranıp hangilerinin taranmayacağına dair direktifleri alır.

robots.txt dosyasının yanlış yapılandırılması, sitenin en kritik sayfalarının arama motorları tarafından taranamamasına veya önemsiz parametre sayfalarının sunucuyu kitleyerek tarama bütçesini (crawl budget) tüketmesine yol açabilir.

1. Robots.txt Sözdizimi (Syntax) ve Temel Direktifler

Robots.txt dosyasında kullanılan temel komutlar ve çalışma mantıkları:

1. User-agent (Hedef Bot Tanımlama)

Hangi arama motoru botuna talimat verildiğini belirtir:

• User-agent: * (İstisnasız tüm botları hedefler)
• User-agent: Googlebot (Yalnızca Google web tarayıcısını hedefler)
• User-agent: Googlebot-Image (Google Görsel tarayıcısını hedefler)

2. Disallow (Taramayı Engelleme)

Botların girmemesi gereken dizin ve URL kalıplarını tanımlar:

• Disallow: /admin/ (/admin/ altındaki hiçbir URL taranmaz)
• Disallow: /sepet (/sepet sayfasının taranması engellenir)

3. Allow (İstisnai İzin Verme)

Engellenmiş bir dizinin altındaki belirli bir alt kaynağın taranmasına izin verir:

Disallow: /admin/
Allow: /admin/login.css

4. Sitemap (Site Haritası Bildirimi)

Arama motorlarına XML site haritasının mutlak adresini gösterir:

Sitemap: https://seobify.com/sitemap-index.xml

2. Profesyonel Bir Robots.txt Şablonu

Modern ve performans odaklı bir web sitesi için optimize edilmiş robots.txt örneği:

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /*?s=*
Disallow: /*?filter=*
Disallow: /*&sort=*

# Statik kaynakların render edilmesi için izin ver
Allow: /wp-admin/admin-ajax.php
Allow: /*.js$
Allow: /*.css$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.svg$

Sitemap: https://seobify.com/sitemap-index.xml

3. Robots.txt ile İlgili 3 Kritik Algoritmik Yanılgı

[Robots.txt Disallow Kuralı] ➔ Yalnızca TARAMAYI (Crawl) Engeller.
                              İNDEKSLEMEYİ (Index) Kesin Olarak Engellemez!

1. “Disallow Edilen Sayfa Dizine Girmez” Yanılgısı

Eğer bir URL’ye dışarıdan veya site içinden güçlü linkler verilmişse, Googlebot o sayfayı tarayamasa bile arama sonuçlarında “Sayfa bilgisi robots.txt tarafından engellendiği için mevcut değil” uyarısıyla dizine ekleyebilir. Sayfayı dizinden tamamen çıkarmak için sayfaya <meta name="robots" content="noindex"> basılmalı ve sayfa taranabilir bırakılmalıdır.

2. JS ve CSS Dosyalarını Engellemek

Googlebot sayfaları 2014’ten beri tam bir modern tarayıcı gibi render etmektedir. Tema CSS ve JS dosyalarını Disallow ile kapatmak mobil uyumluluk ve içerik doğrulama hataları üretir.

3. Noindex Direktifini Robots.txt İçine Yazmak

Google, 2019 yılından itibaren robots.txt içindeki Noindex: /sayfa satırını resmi olarak desteklemeyi bıraktı.

4. Robots.txt Dosyasını Test Etme ve Doğrulama

Dosyadaki kuralların geçerliliğini denetlemek için:

1. Google Search Console panelinde Ayarlar > robots.txt raporunu açın.
2. Googlebot’un dosyanızı son ne zaman indirdiğini ve HTTP durum kodunu (200 OK olmalıdır) doğrulayın.
3. Kritik bir sayfa URL’sini test aracına yapıştırarak engellenip engellenmediğini simüle edin.

Sıkça Sorulan Sorular

Robots.txt dosyası silinirse ne olur?

Eğer sunucu robots.txt isteğine 404 dönerse, Googlebot hiçbir engelleme olmadığını varsayarak tüm siteyi taramaya devam eder. Ancak sunucu 5xx hatası dönerse Googlebot güvenlik gerekçesiyle taramayı tamamen durdurabilir.

Hassas kullanıcı verileri robots.txt ile gizlenebilir mi?

Hayır. robots.txt dosyası herkese açıktır (site.com/robots.txt). Hassas sayfalar robots.txt’te listelenmemeli, doğrudan sunucu düzeyinde parola veya kimlik doğrulama ile korunmalıdır.

Stratejik Sonuç

Robots.txt, sunucu kaynaklarınızı koruyan ve arama motoru botlarını en değerli sayfalarınıza yönlendiren tarama mimarisinin giriş kapısıdır. Sitenizin tarama verimliliğini optimize etmek için SEO danışmanlığı süreçlerimizi inceleyin.

İlgili Yazılar

• Robots.txt Dosyası Rehberi: Sözdizimi, Güvenlik ve Tarama Bütçesi
• Robots.txt Dosyasında En Sık Yapılan 8 Kritik Hata ve Çözümü
• llms.txt Dosyası Nedir? Yapay Zekaya Temiz Markdown Besleme Rehberi
• Google Disavow Tool: Zararlı Linkleri Reddetme Rehberi
• Yurt Dışı Pazarlarında SEO Fiyatlandırma ve Teklif Stratejisi

Daha kapsamlı destek için: SEO Danışmanlığı hizmetimize göz atın.