Yapay zekâ çağında robots.txt: arama botları, eğitim botları ve kullanıcı tetikli çekimler
Yapay-zekâ tarayıcıları farklı bedellerle üç sınıfa ayrılır. Yanlış olanı engellemek hiçbir şeyi korumadan alıntı kaybettirir. Ne demek istediğinizi söyleyen robots.txt kuralları yazmak.
2 dk · RFC 9309