Google, Microsoft ve OpenAI'dan Yapay Zeka Eğitimi için Ortak robots.txt İşareti

Google, Microsoft ve OpenAI 30 Ekim 2026’da, robots.txt dosyasına yazılan tek bir grupla içeriğin yapay zeka eğitiminde kullanılıp kullanılamayacağını birden çok sağlayıcıya aynı anda bildiren ortak bir işareti destekleyeceklerini duyurdu. İşaret, IETF’nin yapay zeka tercihleri (AIPREF) çalışma grubuna aynı gün sunulan bir taslağa dayanıyor. Üç şirket de işareti henüz uygulamıyor: Microsoft 1 Şubat 2027’de başlıyor, Google 2027’yi, OpenAI önümüzdeki ayları hedefliyor.

robots.txt’de yeni grup: __usage_ai-training

Taslağa göre işaret yeni bir bot ya da yeni bir komut değil. Normal bir robots.txt grubunun User-agent satırına __usage_ai-training adı yazılıyor. Bir yol için Disallow eğitime karşı, Allow eğitimden yana tercih anlamına geliyor:

User-agent: __usage_ai-training
Disallow: /
Allow: /basin-kiti/

Bu örnek, /basin-kiti/ dışındaki bütün yollar için eğitime karşı tercih bildiriyor. Taslakta üç kural öne çıkıyor:

• User-agent: * grubu bu ada uygulanmıyor; genel kurallar eğitim tercihi sayılmıyor.
• Dosyada __usage_ai-training grubu yoksa hiçbir tercih bildirilmemiş sayılıyor.
• İşaret bir tarama komutu değil. Googlebot, GPTBot ya da Bingbot için yazdığınız kurallar taramayı eskisi gibi yönetiyor.

Taslak eğitimi, üretken bir yapay zeka modelinin öğrenilmiş parametrelerini değiştirmek olarak tanımlıyor; yalnız sınıflandırma, sıralama ya da puanlama gibi üretken olmayan işlerde kullanılan modellerin eğitimi bu tanıma girmiyor. Belge bireysel olarak sunulmuş bir taslak; IETF standardı değil ve değişebilir.

Google, Microsoft ve OpenAI işareti nasıl okuyacak

Google’ın Search Central blogundaki duyurusuna göre bir site bu grupla eğitimi kapatır ve Google-Extended için ayrıca kural yazmazsa Google bunu Google-Extended engellenmiş gibi değerlendirecek. Google’ın tarayıcı belgesine göre Google-Extended yalnız Gemini modellerinin eğitimini değil, Gemini Apps ile Vertex AI’daki grounding’i (yanıt oluşturulurken Google Arama dizinindeki içeriğin modele verilmesi) de kapsıyor; Arama’ya dahil olmayı ve sıralamayı etkilemiyor. Google desteği 2027’de, belgedeki nota göre 2027’nin başında başlatmayı hedefliyor.

OpenAI işareti temel üretken yapay zeka modellerinin eğitimi için dikkate alacağını, uygulamayı önümüzdeki aylarda başlatıp ayrıntıları o zaman paylaşacağını yazıyor. GPTBot gibi bot adlarına yazılan mevcut tarayıcı denetimleri geçerli kalıyor.

Microsoft yeni tercihleri 1 Şubat 2027’den itibaren sayfaları taradıkça uygulayacak ve ortak işarete iki ek getiriyor. Eğitim tercihini sayfa düzeyinde de okuyacak: <meta name="Bingbot" content="ai-training:disallow"> etiketi ya da X-Robots-Tag: Bingbot: ai-training:disallow başlığı. Yalnız sayfa düzeyinde ayarlanan ayrı bir AI Grounding tercihi de ekliyor: allow (varsayılan), disallowextended (içerik Copilot ve Microsoft 365 gibi Microsoft’un kendi işlettiği deneyimlerde kullanılır, üçüncü taraflara sunduğu grounding hizmetlerinde kullanılmaz) ve disallow. Bu iki tercih, eğitim ve grounding için NoArchive ile NoCache’in yerini alıyor. Bing Webmaster Tools SSS’sine göre hiçbiri Bing arama sonuçlarında yer alma uygunluğunu değiştirmiyor.

Hangi siteler şimdi bir şey yapmalı

Üç duyurunun hiçbiri ülke ya da dil sınırı koymuyor. Google tarayıcı belgesinin Türkçe sürümü 30 Ekim 2026’da kontrol ettiğimizde 20 Ekim tarihliydi ve bu notu içermiyordu; güncel metin İngilizce sürümde.

• Hizmet ya da ürün satan kurumsal ve KOBİ siteleri eğitime izin vermek için bir şey yazmak zorunda değil; Microsoft iki tercihte de varsayılanın izin olduğunu yazıyor.
• İçeriğin kendisini satan siteler (ücretli yayın, rapor, kurs) eğitimi tek grupla birden çok sağlayıcıya kapatabilecek. Google’da bunun bedeli, Google-Extended’a ayrıca izin verilmezse Gemini Apps grounding’inden de çıkmak.
• Sayfalarında noarchive ya da nocache kullanan siteler için Bing’de bir geçiş takvimi var.

KOBİ teknik SEO karnesi 2026 için incelediğimiz 426 sitenin 330’unda (%77,5) robots.txt dosyası vardı. Dosyası olmayan bir site, ortak işaretle eğitimi kapatmak için önce dosyayı oluşturmalı.

Kontrol listesi: robots.txt, sayfa etiketleri ve Bing Webmaster Tools

1. Önce kararı verin: içeriğiniz yapay zeka modellerinin eğitiminde kullanılabilir mi? Grup yazmazsanız dosyanız hiçbir tercih bildirmez.
2. Eğitimi kapatacaksanız robots.txt’ye User-agent: __usage_ai-training satırıyla başlayan ayrı bir grup ekleyin. Kuralı User-agent: * grubuna ya da GPTBot gibi bir botun grubuna eklemeyin: ilki eğitim tercihi sayılmaz, ikincisi o botun taramasını da durdurur.
3. Google’da eğitim ile Gemini Apps grounding’i aynı denetimde. Google-Extended’a açıkça izin verirseniz Gemini Apps yanıtlarında grounding ile görünmeye uygun kalırsınız, ama içeriğiniz Gemini eğitimine de açık kalır. Ortak grupla eğitimi kapatıp Google’da farklı bir seçim yapacaksanız bunu User-agent: Google-Extended grubuyla açıkça yazın.
4. Mevcut kuralları silmeyin. Google ve OpenAI, Google-Extended ve GPTBot gibi şirkete özel denetimlerin geçerli kalacağını yazıyor.
5. noarchive ya da nocache kullanıp kullanmadığınızı kontrol edin: sayfa kaynağında robots ve bingbot meta etiketlerine, curl -I çıktısında X-Robots-Tag başlığına bakın. Kullanıyorsanız takvim şöyle: 15 Aralık 2026’da Bing Webmaster Tools’ta geçici grounding tercihi açılıyor (yalnız o tarihte bu etiketleri kullanan siteler için). 1 Mart 2027’ye kadar eğitim tercihini robots.txt’ye ya da sayfaya, grounding tercihini sayfaya yazın ve geçici tercihi kaydedin. Bu tarihten sonra iki eski etiket eğitim ve grounding için okunmuyor; geçici tercih kaydedilmemişse sayfalar yeniden taranana kadar grounding’e açık sayılıyor. Geçici tercihlerin süresi 30 Eylül 2027’de doluyor.
6. Bing’de grounding’i kısıtlamadan önce bedelini tartın: Microsoft’a göre disallow ya da disallowextended, yapay zeka yanıtlarındaki görünürlüğü belirgin biçimde azaltır.
7. robots.txt’yi değiştirdikten sonra Search Console’daki robots.txt raporunda Google’ın dosyayı yeniden getirdiğini ve sorun göstermediğini kontrol edin. Bing etiketlerini değiştirdiğiniz sayfaları IndexNow ile bildirebilirsiniz; Microsoft’a göre bu yeniden tarama olasılığını artırır ama tarih vermez.

seobify.com’daki durum

30 Ekim 2026’da seobify.com’u curl ile kontrol ettik. robots.txt dosyasında yalnız User-agent: * grubu (boş Disallow) ve site haritası satırı var; __usage_ai-training grubu yok. Taslağa göre bu dosya eğitim için bir tercih bildirmiyor; Microsoft’un yeni tercihlerinde de varsayılan izin geçerli oluyor. Ana sayfada ve kontrol ettiğimiz blog yazısında noarchive, nocache ya da X-Robots-Tag başlığı yok; Bing’in geçiş takvimi seobify.com için bir işlem gerektirmiyor.

Search Console’daki ayrı yapay zeka ayarı ve snippet denetimleri için AI Özetleri ve AI Mode yayıncı kontrol listemize, dosyanın temel kuralları için robots.txt rehberimize bakabilirsiniz. Hangi yapay zeka kullanımına izin vereceğinize karar verirken robots.txt, sayfa etiketleri ve Bing Webmaster Tools ayarlarını GEO danışmanlığı kapsamında birlikte gözden geçiririz.

Kaynaklar

• Supporting a shared AI training control for websites (Google Search Central Blog, 30 Ekim 2026)
• Google’s common crawlers: Google-Extended (Google Crawling Infrastructure, 30 Ekim 2026 sürümü)
• Making it easier for websites to express AI training preferences (OpenAI, 30 Ekim 2026)
• Overview of OpenAI Crawlers (OpenAI)
• Your content, your choice: clearer preferences for training and grounding (Microsoft Bing Blog, 30 Ekim 2026)
• FAQ: New AI Preferences (Bing Webmaster Tools Yardım)
• Machine-Readable Training Preference Signal (IETF taslağı, draft-kelley-aipref-training-preference-signal-00, 30 Ekim 2026)
• robots.txt raporu (Search Console Yardımı)
• Google also gives publishers more control over how AI uses their content (Search Engine Land)