Názor k článku
Soubor robots.txt a blokování AI od Filip Jirsák - Útoky pomocí robots.txt asi neblokujete. Nebo že byste...

Útoky pomocí robots.txt asi neblokujete. Nebo že byste měl štěstí na útočníky gentlemany, kteří respektují robots.txt? Blokování vyhledávacích robotů se používá třeba pro části webu, které nechcete indexovat, protože jejich indexování by vyhledávači způsobilo akorát zmatek. Případně je nechcete indexovat, protože indexování by bylo pro vás nákladné a zaindexování by nemělo prakticky žádný užitek – třeba velké fotky, videa nebo jiné velké soubory, pokud to máte na nějakém slabém počítači, slabé nebo měřené přípojce.