27 Ağustos 2026
SEO araçları ve analiz yazılımları web sitenizi dışarıdan simüle ederken; Googlebot’un sitenizde gerçekte ne yaptığını, hangi URL’yi hangi saniyede ziyaret ettiğini ve sunucunun hangi yanıtı verdiğini gösteren tek kesin veri kaynağı web sunucusu erişim loglarıdır (Server Access Logs).
Milyonlarca sayfaya sahip e-ticaret sitelerinde, haber portallarında ve kurumsal platformlarda; Log Analizi (Log File Analysis) yapılmadan tarama bütçesini (Crawl Budget) optimize etmek ve Googlebot’un değerli sayfalara neden uğramadığını anlamak imkansızdır.
1. Sunucu Log Formatı ve Googlebot Doğrulama
Standart bir Nginx veya Apache Combined Log çıktısının anatomisi:
66.249.66.1 - - [20/Aug/2026:14:32:10 +0300] "GET /blog/teknik-seo-nedir/ HTTP/2.0" 200 14820 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"Sahte Googlebot Taramalarını (Spoofed Bots) Ayıklama
Kötü niyetli botlar User-Agent alanına Googlebot yazarak sitenizi kazıyabilir. Gerçek bir Googlebot’u doğrulamak için IP adresine Ters DNS (Reverse DNS Lookups) sorgusu yapılmalıdır:
- IP adresinin ters DNS kaydı
*.googlebot.comveya*.google.comile bitmelidir.
2. Log Analizi ile Çözülen 4 Kritik Teknik SEO Sorunu
[Sunucu Erişim Logları (Access Logs)]
├── 1. Tarama Bütçesi İsrafı (Gereksiz parametreli sayfalar)
├── 2. Yetim Sayfalar (Site içi linki olmayan ama botun bildiği sayfalar)
├── 3. Tarama Frekansı ve Sayfa Önceliği (Hangi kategoriler taranmıyor?)
└── 4. Gizli 5xx ve 4xx Hata Döngüleri (Botların karşılaştığı çökmeler)| Log Analiz Bulgusu | Algoritmik Anlamı | Uygulanacak Aksiyon |
|---|---|---|
| Yoğun 301 ve 404 İstekleri | Googlebot tarama bütçesini ölü linklerle tüketiyor. | Dahili yönlendirmeleri tek adıma indirgeyin; ölü linkleri temizleyin. |
| Önemsiz Parametrelere Harcanan İstekler | Filtre ve sıralama parametreleri ana içeriği gölgeliyor. | robots.txt ile parametreleri taramaya kapatın. |
| Son 60 Gündür Taranmayan Kategoriler | Sayfa derinliği (Crawl Depth) çok fazla veya yetim kalmış. | Ana menüden ve popüler bloglardan ilgili kategoriye iç link verin. |
| Gece Saatlerinde Yaşanan 503 Hataları | Sunucu bot yükünü kaldıramıyor; tarama hızını düşürüyor. | Önbellekleme (Cache) katmanını güçlendirin veya sunucu kaynaklarını artırın. |
3. Python ile Nginx Loglarını Ayrıştırma (Parsing)
Python pandas ve regex kullanarak milyonlarca satırlık erişim logunu ayrıştıran örnek analiz kodu:
import re
import pandas as pd
log_pattern = re.compile(
r'(?P<ip>\S+) \S+ \S+ \[(?P<time>.*?)\] "(?P<method>\S+) (?P<url>\S+) \S+" (?P<status>\d{3}) (?P<bytes>\S+)'
)
googlebot_hits = []
with open('/var/log/nginx/access.log', 'r') as f:
for line in f:
if 'Googlebot' in line:
match = log_pattern.match(line)
if match:
googlebot_hits.append(match.groupdict())
df = pd.DataFrame(googlebot_hits)
# Durum kodlarına göre tarama dağılımı
print(df['status'].value_counts())
# En çok taranan ilk 10 URL
print(df['url'].value_counts().head(10))Sıkça Sorulan Sorular
Hangi sıklıkla log analizi yapılmalıdır?
Büyük e-ticaret sitelerinde ve haber portallarında ayda en az bir kez; küçük ve orta ölçekli sitelerde ise her çekirdek güncelleme (Core Update) veya site taşıma öncesi/sonrası log analizi yapılmalıdır.
Log analizi için hangi araçlar kullanılabilir?
Python ve BigQuery’nin yanı sıra Screaming Frog Log File Analyser, Semrush Log File Analyzer ve Loggly gibi profesyonel yazılımlar tercih edilebilir.
Stratejik Sonuç
Log analizi, sitenizin teknik SEO sağlığını varsayımlarla değil; Googlebot’un gerçek sunucu ayak izleriyle optimize etmenizi sağlar. Altyapı ve tarama bütçesi optimizasyonu için teknik SEO danışmanlığı çözümlerimizi inceleyin.
İlgili Yazılar
- Tarama Bütçesi (Crawl Budget) Nedir? 7 Adımda Yönetim Rehberi
- Video SEO: Google Video Arama Sonuçlarında İlk Sıraya Çıkma
- Schema Markup (Yapısal Veri) Optimizasyonu Kapsamlı Rehber
- Python ile SEO Analizi ve Otomasyon Rehberi
- Backlink Analizi Nasıl Yapılır? Adım Adım Rehber 2026
Daha kapsamlı destek için: SEO Danışmanlığı hizmetimize göz atın.