LektaBot sunucunuzda ne yapar
LektaBot bir sayfayı yalnız biri Lekta’dan o sayfanın denetimini istediğinde çeker. Her istekte kendini LektaBot olarak tanıtır, robots.txt’i RFC 9309’a göre ayrıştırır ve asla tarayıcı ya da başka bir bot taklidi yapmaz. Bu sayfa, bu davranışın operatöre dönük kaydıdır.
Kimlik
İki hat, tek tokenHer denetim aynı URL’yi iki kez çeker — bir saf HTTP GET, bir tam Chromium render — böylece ikisi tek çıkarıcıdan karşılaştırılır. İki istek de aynı ürün token’ını taşır; tek bir robots.txt kuralı ikisini birden yönetir.
İstek davranışı
Ölçülen sınırlarLektaBot’un asla yapmadıkları
Katı kurallarEngelleme, izin, yavaşlatma
robots.txtLektaBot her denetimin başında /robots.txt dosyasını okur; aynı URL’nin 15 dakika içindeki tekrarı sunucunuza hiç dokunmadan sonuç önbelleğinden yanıtlanır. Bu kuralların her biri sitenizin bir sonraki denetiminde geçerli olur.
User-agent: LektaBot
Disallow: /Tek kural iki hattı birden durdurur. Engel bu alan adının her raporuna yazılır ve zamanlanmış yeniden denetimler siteyi tamamen atlar — rozet istisnası yok.
User-agent: LektaBot
Disallow: /admin/
Disallow: /checkout/
Allow: /En özgül kural kazanır — RFC 9309 §2.2.2; denetimin raporladığı öncelik de aynıdır.
User-agent: LektaBot
Crawl-delay: 5Crawl-delay RFC 9309’un parçası değildir ve LektaBot’un ona ihtiyacı yoktur: hedef başına sınırlar — dakikada 1, saatte 5, tek seferde bir — buraya yazılabilecek her gecikmeden zaten daha sıkıdır.
Bir isteğin gerçekten bizden geldiğini doğrulama
Taklide karşıUser-agent dizesini herkes taklit edebilir; ona tek başına güvenmeyin. Karşısında çözümleme yapılacak bir ters-DNS bölgesi yok; kontrol edebilecekleriniz beyan, istek deseni ve — şüpheli her durumda — bizim kayıtlarımızdır.