Motor sürümleri ve değişiklikleri

Agentmap ve Host satırları artık robots.txt grubunu bölmüyor

robots.txt okuyucumuz artık Agentmap ve Host satırlarını RFC 9309 ve Google gibi okuyor. Ajan listesi Google-Agent ve Google-GeminiNotebook ile 36'dan 38 token'a çıktı. İkisi de kullanıcı-tetiklemeli; bu sınıftaki diğerleri gibi yalnız bilgi olarak raporlanıyor ve skoru hiç değiştirmiyor. Yanında skoru değiştirmeyen bir dizi düzeltme yayına girdi; çoğu, rapor metinlerinin yalnız kaynaklarının gösterdiğini söylemesini sağlıyor.

• İki User-agent satırı arasına konan bir Agentmap: ya da Host: satırı, ilk ajanı ardından gelen kurallardan koparıyordu; biz de o ajanı izinli okuyorduk. Artık iki ajanı RFC 9309 ve Google gibi tek grup sayıyoruz. İlk ajan bir AI arama botuysa ve bu kurallar onu engelliyorsa, raporunuz artık engeli gösteriyor. Crawl-delay ve Content-signal satırları bilerek eskisi gibi grubu bitiriyor: bir bota yalnız Crawl-delay yazan sitelerin çoğu "yavaşla" demek istiyor, "engelle" değil. Bunları öbür türlü okumak, bingbot'u hiç engellemeyen sitelerde onu engelli gösterirdi.

Ölçülen — Yayından önce ölçüldü: donmuş referans setimizdeki altı hedefin altısında da hiçbir oynama yok. Yeni okuyucu, gerçek robots.txt dosyalarından oluşan iki örneklemde (177 ve 89 site) eskisiyle karşılaştırıldı; tek bir izin/engel kararı bile değişmedi. Oynayabilecek sayfalar, iki User-agent satırı arasına Agentmap: ya da Host: satırı koyanlar.

AI ajan listesi ikiye katlandı: 18 yerine 36 token

Her sağlayıcının kendi tarayıcı dokümanını yeniden okuyup robots.txt'inizin karşılaştırıldığı listeyi baştan kurduk. Liste 18 token'dan 36'ya, cevap motorunun sizi indeksleyip indeksleyemeyeceğine karar veren arama sınıfı ise 6'dan 15'e çıktı. Yanında dokuz iç düzeltme yayına girdi; hiçbiri skoru değiştirmiyor.

• Meta AI'ın arama indeksleyicisi artık listede (Meta-WebIndexer). robots.txt'iniz Meta token'larını toplu engelliyorsa, bu engel artık daha önce kaybettirmediği ölçülür bir cevap yüzeyini kaybettiriyor.
• Amazon eğitimi aramadan ayırdı. Eğitimi reddetmek için Amazonbot'u engellemek artık Amazon tarafında görünmez olmak anlamına gelmiyor — orayı ayrı bir token yönetiyor (Amzn-SearchBot). Bu yüzden ceza almış sayfalar artık daha yüksek puan alabilir.
• Mistral, Huawei, Moonshot (Kimi), DuckDuckGo, Yandex, Kagi ve Ai2 listeye girdi. Mistral ve Yandex yalnız eğitimi kapatan ayrı bir anahtar sunuyor; yani orada eğitimi reddetmek alıntılanmayı kaybettirmiyor.
• Bilinen tüm AI arama botlarını engellemek artık kendiliğinden en sert sonucu doğurmuyor. Yandex, Huawei ya da Kimi'yi adıyla yazmadıysanız o yüzeylerde gerçekten görünüyorsunuz; rapor sizi kısıtlamak yerine bunu söylüyor.
• Applebot, Kagibot ve Amzn-SearchBot, adları yazılmadığında Googlebot kurallarınıza uyuyor. Googlebot'a Disallow yazmak üçünü birden sessizce engelliyor; rapor artık bu ilişkiyi gösteriyor.

Ölçülen — Yayından önce ölçüldü: donmuş referans setimizdeki altı hedefin altısında da hiçbir oynama yok. Kapsam ikiye katlandı, puanlar yerinde kaldı. Oynayacak sayfalar şunlar: Meta token'larını toplu engelleyenler (aşağı) ve eğitimi reddetmek için Amazonbot'u engelleyenler (yukarı).

Bağımsız puanlama denetiminin ikinci dalgası

2026-08-20 tarihli bağımsız denetimin on altı maddesi tek sürümde kapandı. İkisi bir sayfanın notunu oynatabilir; diğer on dördü skorda görünür etkisi olmayan iç düzeltmelerdir.

• Güncellik: okura gösterdiğiniz tarih, makineye beyan ettiğiniz tarihle aynı günü göstermeli. Eskiden sayfanın herhangi bir yerinde tarih biçiminde bir metin yeterliydi.
• A+ artık yuvarlanmamış tam skor istiyor. 99,5'ten 100'e yuvarlanan sayfalar A+ alabiliyordu; puanınız değişmez, yalnız A+ hakkı sıkılaşır — bu yüzden raporda 100 puan ile A notunu birlikte görebilirsiniz.

Ölçülen — Yayından önce ölçüldü: donmuş referans setimizde altı hedeften biri oynadı (Wikipedia, 100 → 94; makineye 2001 diyor, okura 2026), bozuk sayfa korpusunda hiç kayma olmadı.

Bağımsız puanlama denetiminin birinci dalgası

Puanlama motorunun bağımsız incelemesi 23 doğrulanmış bulgu üretti. Bu sürüm ağır yarısını kapattı.

• Makale işaretlemesi taşımayan ama makale gibi okunan sayfalar artık makale olarak notlanıyor. İşaretlemeyi silmek notu yükseltmiyor.
• robots.txt ve X-Robots-Tag okuyucuları düzeltildi; robots kuralları artık yönlendirmenin gerçekten indiği sayfaya göre değerlendiriliyor.
• Çöken bir kural artık skoru sessizce şişiremiyor — rapor bunun yerine "eksik ölçüm" olarak işaretleniyor.

Sayfa türü tespiti: saymak yerine baskınlık

Birden çok <article> öğesi taşıyan sayfa körü körüne "dizin" sayılıyordu; bu, ilgili kartlar gömen gerçek makaleleri eksik ölçüyordu.

• En büyük makale sayfa metninin en az %60'ını taşıyorsa (ve en az 500 karakterse) sayfa dizin değil makale olarak ölçülür.

Üç katman yerine dört katman

Skor, her katman okuyucunun kontrol edebileceği tek bir soruyu cevaplayacak biçimde yeniden kuruldu.

• Katmanlar Erişim 25 · İndekslenebilirlik 25 · Cevaplanabilirlik 30 · Güncellik 20 oldu. Güncellik, başka bir katmanın içindeki bir denetim olmaktan çıkıp kendi katmanı hâline geldi.

Anlamsal bölüm sinyalleri

Dondurulmuş çok dilli bir gömme modeliyle iki puanlanan denetim eklendi; model sabit bir sürüme sabitlendi ve CPU'da koşuyor, böylece aynı sayfa her zaman aynı sayıyı veriyor.

• Cevaplanabilirlik artık bir bölümün kendi başlığını gerçekten cevaplayıp cevaplamadığını ve bağlamdan koparıldığında tek başına ayakta durup durmadığını ölçüyor.

A+ demek tam skor demek

Not tanımları, yayımlanan plana uyacak biçimde sıkılaştırıldı.

• A+ artık tam skor ve sıfır uyarı istiyor. Uyarısız 97–99 alan sayfa A'dır.
• Uyarılar sayıyı değiştirmez; tek etkileri not üzerindedir.

İlk prototip

İlk çalışan motor: robots.txt üzerinde AI tarayıcı matrisi, JavaScript bağımlılık ölçüsü, içerik güncelliği, şiddet ağırlıklı skor ve kısmi kapsam tavanı.

Var olan bir notu oynatan değişiklik yok.