Arama motoru botlarının (Googlebot, Bingbot vb.) belirli bir zaman diliminde web sitenizde tarayabileceği ve taramak istediği maksimum sayfa sayısına Tarama Bütçesi (Crawl Budget) adı verilir.
Google’ın resmi açıklamasına göre tarama bütçesi iki temel bileşenin çarpımıdır:
$$\text{Tarama Bütçesi} = \text{Tarama Kapasitesi Limiti (Crawl Capacity)} \times \text{Tarama Talebi (Crawl Demand)}$$
- Tarama Kapasitesi Limiti: Sunucunuzun çökmeden veya yavaşlamadan botlara yanıt verme hızı (Sunucu performansı ve TTFB).
- Tarama Talebi: Sitenizin ne kadar popüler olduğu, ne sıklıkla güncellendiği ve dışarıdan aldığı backlink otoritesi.
Yüz binlerce URL barındıran büyük sitelerde tarama bütçesinin doğru yönetilmemesi; yeni ürün ve makalelerin haftalarca dizine girememesine neden olur.
1. Tarama Bütçesini Tüketen 4 Büyük İsraf Kaynağı
[Googlebot Günlük 50.000 Sayfa Kotası]
├── İsraf: 18.000 İstek ➔ Yinelenen Filtre Parametreleri (?sort=, ?color=)
├── İsraf: 12.000 İstek ➔ 301 Yönlendirme Zincirleri ve Kırık Linkler (404)
├── İsraf: 8.000 İstek ➔ Site İçi Arama ve Etiket Çöplüğü Sayfaları
└── Gerçek Fayda: Sadece 12.000 İstek Asıl Yeni Ürün ve İçeriklere Kalıyor!
2. 7 Adımda Tarama Bütçesi Optimizasyonu
| Adım | Teknik Aksiyon | Kazanım |
|---|---|---|
| 1. Sunucu Hızını Artırma (TTFB < 200ms) | Sunucu hızlı yanıt verdiğinde Googlebot aynı sürede daha fazla sayfa tarar. | Tarama kapasitesinde +%40 artış. |
| 2. Robots.txt ile Parametreleri Kapatma | Arama hacmi olmayan ?sort=, ?page_size= parametrelerini Disallow edin. | Günlük on binlerce gereksiz taramanın engellenmesi. |
| 3. Yönlendirme Zincirlerini Tek Adıma İndirme | A ➔ B ➔ C şeklindeki zincirleri doğrudan A ➔ C yapın. | Botun her yönlendirmede harcadığı isteği yarıya düşürme. |
| 4. Kırık Linkleri (404) Temizleme | Sitedeki tüm dahili ölü linkleri doğrudan geçerli URL’lerle güncelleyin. | Sıfır boşa harcanan tarama isteği. |
| 5. Dinamik XML Site Haritası | Yalnızca 200 OK yanıtı veren ve dizine açık sayfaları site haritasında tutun. | Botların doğrudan taze sayfalara yönlenmesi. |
| 6. Sayfa Derinliğini (Crawl Depth) Düşürme | Hiçbir önemli sayfa ana sayfadan 3 tıklamadan daha derin olmamalıdır. | Yetim ve derin sayfaların hızlı keşfi. |
| 7. HTTP/2 ve HTTP/3 Entegrasyonu | Tek bir TCP bağlantısı üzerinden paralel çoklu dosya taramasına izin verin. | Bot el sıkışma maliyetini düşürme. |
3. Search Console’da Tarama İstatistikleri Raporu Okuma
Search Console > Ayarlar > Tarama İstatistikleri (Crawl Stats) panelinde 3 kritik grafiği denetleyin:
- Toplam Tarama İsteği: Zaman içindeki tarama trendi yükseliyor mu?
- Toplam İndirme Boyutu: Sunucu bant genişliği botlara yetiyor mu?
- Ortalama Yanıt Süresi (ms): Grafik 300ms’nin üzerine çıkıyorsa sunucu kaynakları yetersiz kalıyor demektir.
Sıkça Sorulan Sorular
Küçük web sitelerinin (1.000 sayfa altı) tarama bütçesi endişesi olmalı mıdır?
Genellikle hayır. 1.000 sayfanın altındaki sitelerde Googlebot tüm sayfaları kolayca tarar. Ancak gereksiz parametreler sonsuz URL döngüsü (spider trap) yaratırsa küçük siteler de kilitlenebilir.
Noindex etiketi tarama bütçesini korur mu?
Hayır. Googlebot bir sayfada noindex olduğunu anlamak için o sayfayı indirmek ve taramak zorundadır. Taramayı tamamen durdurmak için robots.txt kullanılmalıdır.
Stratejik Sonuç
Tarama bütçesini optimize etmek, sitenizin en değerli sayfalarının Googlebot tarafından anında keşfedilmesini ve dizine girmesini sağlar. Kurumsal ölçekli altyapı iyileştirmeleri için SEO danışmanlığı çözümlerimizi inceleyin.
İlgili Yazılar
- Log Analizi ile Googlebot Tarama Bütçesi Optimizasyonu
- Search Console Tarama İstatistikleri (Crawl Stats) Yorumlama
- R Dili ile Site Haritası Tarama ve XPath Veri Çekimi
- Crawl Depth (Sayfa Derinliği) Nedir? 3 Tıklama Kuralı Rehberi
- Yurt Dışı Pazarlarında SEO Fiyatlandırma ve Teklif Stratejisi
Daha kapsamlı destek için: SEO Danışmanlığı hizmetimize göz atın.