Öğren · rehber3 dk okuma

Öğren / AI botları için robots.txt

Yapay zekâ çağında robots.txt: arama botları, eğitim botları ve kullanıcı tetikli çekimler

Yapay-zekâ tarayıcıları farklı bedellerle üç sınıfa ayrılır. Yanlış olanı engellemek hiçbir şeyi korumadan alıntı kaybettirir. Ne demek istediğinizi söyleyen robots.txt kuralları yazmak.

YayınGüncellemeDayanak
RFC 9309Access katmanı

robots.txt dosyası 1994’te tek tür ziyaretçi için tasarlandı: arama tarayıcısı. 2023’te ziyaretçi listesi bir anda kalabalıklaştı. OpenAI Ağustos 2023’te GPTBot’u duyurdu, Google Eylül 2023’te Google-Extended kontrolünü ekledi ve o günden beri her cevap motoru kendi user-agent’ıyla geldi. Site sahipleri artık üç ayrı bot sınıfını, incelik tanımayan tek bir dosyayla yönetiyor ve en yaygın yapılandırma hataları tamamen yanlış sınıfı engelliyor.

Üç bot sınıfı, üç ayrı anlaşma

GPTBot ve CCBot gibi eğitim tarayıcıları model eğitimi için metin toplar; bu ikisini engellemek bugünkü görünürlüğünüzü etkilemeyen saf bir politika tercihidir. Arama sınıfı ajanlar — OAI-SearchBot, PerplexityBot ve benzerleri — sayfaları cevap motorlarının alıntılayabilmesi için indeksler; bunları engellemek sizi yapay-zekâ cevaplarından, Googlebot’u engellemenin sizi aramadan sildiği gibi siler. Kullanıcı tetikli çekimler tek bir insanın tek bir URL isteğiyle çalışır ve sağlayıcılar bu sınıfı belgelerinde ayrı tutar, çünkü her çekimin arkasında bir insan vardır.

Gerçekten istediğiniz anlaşmayı yazın. Bir yayıncı eğitimi reddedip aramayı ağırlayabilir: GPTBot ve CCBot’a disallow, OAI-SearchBot ve PerplexityBot’a allow. İki karar birbirinden bağımsızdır ve ikisini karıştırmak son üç yılın en pahalı robots.txt hatasıdır.

Google-Extended yanılgısı

Google-Extended bir tarayıcı değildir. O user-agent ile hiçbir istek gelmez; Google mevcut user-agent’larıyla tarar ve bu anahtarı robots.txt’te bir kontrol olarak okur. Google tarayıcı belgelerinde ona iki iş verir: sayfalarınızın gelecekteki Gemini modellerini eğitip eğitmeyeceği ve Gemini uygulamaları ile Vertex AI’daki cevapları temellendirip temellendirmeyeceği. Yani engellemenin gerçek bir bedeli vardır — Gemini sizi ya çok nadiren ya da hiç kaynak göstermez — ama Google’a göre Google Arama’ya dahil edilmeyi ve sıralamayı değiştirmez. AI Overviews ve AI Mode Arama’nın parçasıdır: Google onları Googlebot’a ve nosnippet gibi önizleme kontrollerine, 31 Ağustos 2026’dan beri de Search Console’daki Search generative AI control ayarına bağlar; bu ayarı Lekta dahil hiçbir dış denetim göremez. Bu ayarın Google yardım sayfası Google-Extended’e üçüncü bir iş ekler: Arama’nın üretken yapay zekâ özelliklerinin arkasındaki modellerin eğitimini de sınırlar.

Grossman ve arkadaşlarının gözlemsel çalışması (SIGIR 2026; ABD, Aralık 2025 verisi), Google-Extended’i engelleyen sitelerin AI Overviews’ta organik sonuçlarına göre daha az alıntılandığını gördü; yazarlar bulguyu şaşırtıcı, analizlerini betimsel buluyor. Bunu ölçülmüş bir bedel değil, açık bir soru olarak okuyun. Googlebot’a dokunmadan Google-Extended’i engellemek bir eğitim ve Gemini kararıdır; AI Overviews ya da AI Mode’dan çıkış değildir.

5xx tuzağı ve öteki sessiz arızalar

RFC 9309’un 2.3.1 bölümü kuralı koyar: sunucu hatası dönen bir robots.txt, tarayıcı için tüm sitenin yasak sayılması demektir. /robots.txt’e 500 döndüren yanlış yapılandırılmış bir CDN, sayfa tarayıcıda sorunsuz açılırken sizi uyumlu her bottan — arama ve yapay zekâ birlikte — tek seferde siler. Aynı RFC ayrıştırıcılara en az 500 KiB robots.txt kabul etme yükümlülüğü getirir, yol kurallarında en-uzun-eşleşme önceliğini tanımlar ve boş Disallow satırının her şeye izin anlamına geldiğini söyler.

Dosyayı kod gibi denetleyin, çünkü koddur. Ağınızın dışından çekin ve durumun 200 ya da 404 olduğunu doğrulayın. Yol kurallarının gerçek URL yapınızla eşleştiğini kontrol edin — Disallow: /report, /en/report’u kapsamaz; eşleşme, yolun düz metin öneki üzerinden yapılır. Önem verdiğiniz user-agent’ları, alıntı kazandıran somut yollara karşı tek tek test edin.

Üretimle temasta hayatta kalan bir kontrol listesi

Dört değişmezi koruyun, dosya dürüst kalır: robots.txt bir saniyenin altında 200 ya da 404 ile yanıtlar; adını andığınız her ajan sınıfının açık ve kasıtlı bir kuralı vardır; eğitim politikası ile arama politikası ayrı ayrı kararlaştırılır; her kural değişikliği, gerçekten alıntı kazandıran üç-dört URL’ye karşı test edilir. Bu dört çizgiyi tutan siteler, sağlayıcı listeleri değiştikçe acil müdahale yaşamaz — yeni bot adları yeniden düşünmeye zorlamak yerine mevcut bir sınıfın içine oturur.

Kaynaklar

Bağlayıcı metin RFC’dir; sağlayıcı sayfaları user-agent’ları ve sınıflarını tanımlar, SIGIR 2026 makalesi ise tek bir gözlemsel kesittir. Sağlayıcı bot listeleri yılda birkaç kez değişir; özetlerini değil sayfaların kendisini yer imine alın.

Devam2 / 5 rehber
Yapay zekâ çağında robots.txt: arama botları, eğitim botları ve kullanıcı tetikli çekimler — Lekta