Hiçbir cevap motoru sayfanızı baştan sona okumaz. Cevap motorlarının getirme sistemleri belgeleri chunk’lara böler — çoğu sistemde 256 ile 512 token arası pasajlar —, her chunk’ı bir vektöre gömer ve kullanıcı sorularını sayfayla değil chunk’larla eşler. Sayfa yalnızca bir kap, ürün ise chunk’tır. Bunu yok sayan yazı, aynı içerik kalitesinde olup buna uyan yazıya alıntı kaptırır.
Başlıklar kılık değiştirmiş getirme sorgularıdır
Parçalayıcılar yapıya göre böler ve H2/H3 başlıkları bir sayfanın sunduğu en güçlü bölme sinyalidir. Bölmeden sonra başlık, bölüm metniyle birlikte embedding’e taşınır — 100 dili kapsayan 384 boyutlu multilingual-e5-small gibi modeller ikiliyi tek pasaj olarak kodlar. Bir şey vaat edip başka şey veren başlık, bütün chunk’ı yanlış sorgulara çeker ve doğrularından uzaklaştırır. Getirmede betimleyici ve düz başlık, zeki başlığı her seferinde yener.
Her bölüm tek başına yaşar ya da ölür
Chunk, dil modeline bağlamsız gelir: önceki paragraf yok, daha önce verilen tanım yok, açılıştaki "bu"nun işaret ettiği şey yok. "Bu yaklaşım ayrıca…" ya da "Yukarıda değinildiği gibi…" ile açılan bölümler getirme anında öksüz kalır — dilbilgisi sağlam, anlamı boş. Her bölümü öznesiyle açın: önce şeyin adını koyun, sonra tartışın. Yazarken maliyeti sıfırdır; pasajın tek başına alıntılanabilirliğini o belirler.
Uzunluk da aynı nedenle önemlidir. İki satırlık bir bölüm, neredeyse hiçbir şey söylemeyen ve neredeyse hiçbir şeyle eşleşmeyen bir vektöre gömülür. Her başlığa, komşularından yardım almadan en az bir somut soruyu yanıtlayacak kadar içerik verin.
Tekrar kendi oyunuzu böler
Aynı noktayı yineleyen iki bölüm, neredeyse özdeş iki vektör üretir. Sorgu anında getirme sonuçlarındaki aynı yerler için birbiriyle yarışır ve tek güçlü bir bölümde toplanacak alaka payını bölerler. Tekrarlayan pasajları birleştirmek eldeki en ucuz getirme kazancıdır: bölümleri kaynaştırın, her birinden en iyi örnekleri tutun ve boşalan başlığı sayfanın henüz yanıtlamadığı bir soruya yönlendirin.
Chunk’ın yolculuğunu kolaylaştıran işaretleme
Yapı, parçalamadan düzyazıdan daha sağlam çıkar. Tablolar birimleri sayılara, tanım listeleri terimleri anlamlara bağlı tutar; gerçek tarihler taşıyan bir Article nesnesi motora, alıntıladığı gerçeklerin hangi sürüm olduğunu söyler. Google’ın yapısal veri belgeleri işaretlemeyi makine-güveni olarak çerçeveler: aynı iddia, biri insanlara biri ayrıştırıcılara, iki kez söylenir. Chunk’lar bu güveni miras alır — ve bunu sağlayan sayfalar daha az bozulmayla alıntılanır.
Kaynaklar
Model kartı, gömücünün 384 boyutunu ve 100 dillik kapsamını belgeler; schema.org ve Google sayfaları chunk’ları atfedilebilir tutan işaretlemeyi tanımlar. Üç bağlantı da kanonik ve bakımı yapılan belgelere gider.