Arama motorları sayfaları sıralar; cevap motorları sayfaları alıntılar. ChatGPT, Perplexity veya bir yapay-zekâ tarayıcı ajanı bir soruyu yanıtlarken bir avuç sayfa çeker, onları pasajlara böler ve yolculuğu atlatan pasajları kaynak gösterir. İnsan gözüne kusursuz görünen bir sayfa bu oyunu üç ayrı yerde kaybeder ve üçü de klasik analitik panellerinde görünmez.
Erişim: hiç gerçekleşmeyen çekim
Her alıntı düz bir HTTP GET ile başlar ve o GET’in hoş karşılanıp karşılanmayacağına robots.txt karar verir. Biçim 1994’ten kalmadır ve ancak Eylül 2022’de RFC 9309 ile standartlaştı. Sahada üç hata baskındır: 5xx dönen bir robots.txt (RFC 9309 bu durumda tüm siteyi yasak saymayı söyler), yıllar önce kazıyıcılara karşı yazılmış ama bugün getirme botlarını da engelleyen toptan kurallar ve tarayıcı olmayan her user-agent’a doğrulama sayfası gösteren güvenlik duvarları.
Çözüm bir öğleden sonraya sığar: robots.txt’i 200 ya da 404 ile sunun, asla 500 ile değil; kabul ettiğiniz ajan sınıflarını açıkça listeleyin; sayfayı ağınızın dışından düz bir GET ile test edin. Engellenen bir çekim, içerik ne kadar iyi olursa olsun 0 alıntı getirir.
Ayrıştırılabilirlik: sunucu HTML’i ile JavaScript kabuğu
Getirme sistemleri sunucunun gönderdiği HTML ile çalışır; JavaScript’i sonradan çalıştıranlar azınlıktadır. Google iki dalgalı yaklaşımını JavaScript SEO rehberinde belgeler; ama cevap motoru botlarının çoğu tek dalgadır: render yok, hidrasyon yok, istemci yönlendiricisi yok. Boş bir <div id="root"> gönderen tek-sayfa uygulaması, bu sistemlere tam olarak hiçbir şey göndermiş olur.
Farkı doğrudan ölçün: sayfayı curl ile çekin, etiketleri ayıklayın ve geriye kalan cümleleri sayın. Lekta bu katmanı raporda İndekslenebilirlik adıyla notlandırır ve aynı ölçümü 0 ile 1 arasında bir JS bağımlılık katsayısı olarak verir — görünür metnin yalnız render sonrası var olan payı. 0,01 altındaki sayfalar fiilen statiktir; 0,5 üstündekiler tüm içeriğini, çoğu botun hiç çalıştırmadığı bir render adımına yatırır.
Cevaplanabilirlik: alıntı için biçimlenmiş içerik
Çekilebilen ve ayrıştırılabilen sayfa, yarışı pasajlarının soruları yanıtlayıp yanıtlamadığıyla sürdürür. Somut veri kazanır: tarihler, sayılar, adlar ve birimler dil modeline alıntılayacak, doğrulayıcıya da kontrol edecek bir şey verir. Yapısal işaretleme aynı yönde çalışır — datePublished ve dateModified taşıyan bir Article nesnesi motora sayfanın ne kadar taze olduğunu, bir og:type beyanı ise ne tür bir belge okuduğunu söyler.
Tazelik makine-okunur olduğu kadar görünür de olmalıdır. Render edilen sayfada hiçbir tarih yokken JSON-LD’de duran bir dateModified damgası süs gibi okunur ve birden çok motor bu damganın değerini düşürür. Tarihi insanın göreceği yere yazın, işaretlemeyi eşzamanlı tutun ve içerik gerçekten değiştiğinde ikisini birden güncelleyin.
Gerçek bir sitede nereden başlamalı
Denetime ana sayfadan değil, temsilî bir makale sayfasından başlayın. Açılış sayfaları navigasyondur; cevap motorlarının alıntıladığı şey makalelerdir. Üç katmanı sırayla kontrol edin — robots.txt sorunu kendisinden sonraki her katmanı geçersiz kılar, bu yüzden katmanları sırasız düzeltmek emek israfıdır. Tek sayfa için tam döngü bir saatin altında sürer; erişim ve ayrıştırılabilirlik düzeltmeleri çoğu zaman tek seferde bütün siteye taşınır. Lekta dördüncü bir katman olan Güncellik’i de notlandırır: cevaplanabilirlik bölümünün görünür yere yazmanızı söylediği tarih.
Kaynaklar
Dört kaynağın dördü de birincildir: RFC metninin kendisi, schema.org ile ogp.me sözlük tanımları ve Google’ın kendi tarayıcı belgeleri. Bu sırayla okuyun; yukarıdaki üç katmanla bire bir eşleşirler.