Robots.txt Oluşturucu
Tek bir bot grubu için robots.txt taslağı hazırlayın. Yol ve sitemap girişlerini kontrol edin; dosyayı yayınlamadan önce gerçek URL’lerle doğrulayın.
Genel Politika
Google bu yönergeyi desteklemez. Diğer botlar için desteği ayrıca kontrol edin.
URL getirilmez; alan adı sitenizle karşılaştırılmaz.
Dosyayı sitenizin kök dizinine robots.txt adıyla yükleyin (site.com/robots.txt). robots.txt taramayı yönetir, erişim denetimi değildir: özel verileri kimlik doğrulamayla koruyun. Engellenen bot sayfa düzeyindeki noindex yönergesini okuyamaz. Girişler tarayıcıda kalır; site haritası adresi ziyaret edilmez.
Örnek: bir klasör içinde kaynak dosyasına izin verme
Genel izin politikasında Disallow alanına /ornek-klasor/, Allow alanına /ornek-klasor/acik.css yazın. Çıktı, klasör kısıtlaması içinde bu dosya için izin satırı üretir. Bunlar eğitim yollarıdır; kendi sitenize kopyalamadan önce gerçek URL’leri seçin.
Yayın öncesi kontrol
Bu araç kuralların canlı sitedeki etkisini veya Google’ın dosyayı aldığını test etmez. Çıktıyı kök dosyaya uyguladıktan sonra HTTP yanıtını, hedef bot grubunu ve kritik blog/hizmet/kaynak URL’lerini kontrol edin. Önceki dosyayı ve geri alma planını saklayın.
User-agent: *
Disallow: /example-folder/
Allow: /example-folder/public.css
Sitemap: https://example.com/sitemap.xmlTarama ve dizine ekleme sinyalleriniz doğru ayarlı mı?
Teknik SEO denetimiyle robots.txt, site haritası ve dizine ekleme sinyallerini birlikte inceleyelim.
Araç Rehberi
Robots.txt oluşturucu neden gerekli?
Bu araç tek bir User-agent grubu için robots.txt taslağı üretir. Yol ve sitemap girişlerini kontrol eder; genel engel ve parametre kısıtlamalarının etkisini gözden geçirmeniz için uyarı gösterir.
Girişler tarayıcıda işlenir; sitemap URL’si ziyaret edilmez. Araç canlı tarama veya indeksleme testi yapmaz. Google Crawl-delay yönergesini desteklemez.
Nasıl kullanılır?
- Genel izin veya genel engel politikasını seçin; genel engelin tüm siteyi kapsadığını kontrol edin.
- Engellenecek ve izin verilecek yolları her satıra bir tane girin; gerekirse crawl-delay ve sitemap URL'si ekleyin.
- Uyarıları inceleyin; yayın sonrası HTTP yanıtını ve kritik URL örneklerini denetleyin. GSC erişiminiz varsa rapor ve URL incelemesini ayrıca kullanın.
Ne zaman kullanılır?
- Yönetim, sepet veya filtre URL'leri gibi taranması gereksiz yolları engellemek.
- Sitemap satırını ekleyerek botların site haritasını bulmasını kolaylaştırmak.
- Geliştirme ve test yollarının yanlışlıkla taranmasını önlemek.
Bu araç girilen veriyi tarayıcı içinde işler. Metinleriniz ve hesaplama girdileriniz sunucuya gönderilmeden, cihazınızda analiz edilir.
Sık sorulan sorular
robots.txt bir sayfayı Google'dan kaldırır mı?
Hayır. Disallow yalnız taramayı engeller; zaten indekslenmiş URL listede kalabilir. Kaldırmak için noindex etiketi veya kaldırma aracı gerekir.
Engellediğim sayfa neden hâlâ görünüyor?
Başka sitelerden link alıyorsa Google URL'yi içeriksiz biçimde listeleyebilir. Noindex kullanılacaksa botun sayfayı ve yönergeyi okuyabilmesi gerekir; erişim engelini birlikte değerlendirin.
Crawl-delay'i Google dikkate alır mı?
Google Crawl-delay yönergesini desteklemez. Diğer tarayıcıların davranışını kendi resmî belgelerinden kontrol edin.