Názor k článku
Soubor robots.txt a blokování AI od martyd420 - Ta anketa je trochu zvláštní.. "Co blokujete na svých...

Ta anketa je trochu zvláštní..
"Co blokujete na svých stránkách?"
Jednak robots.txt neslouží k blokování, jen poskytuje botům nějaké informace, které jsou velmi často interpretovány opačně. Pokud v něm uvedu Disallow: /tajnyYyYy.admin/, je jisté, že se mi na té url výrazně zvedne provoz.
Možnost "Vyhledávače" může používat tak statisícina webů, které chcou být "neveřejné"? (a určitě to nedělají přes robots.txt)
Chybí nejčastější možnost - blokuju badboty a automatizované scany a útoky, přičemž se současně snažím, abych neomezil vyhledávače.

//edit: AI, pokud se přijde jen učit, taky neblokuju. Nicméně konkrétně OpenAI jsem byl nucen zablokovat (ip rozsahy), protože mi ten jejich bot útočil na server celkem brutální silou...

19. 2. 2024, 13:33 editováno autorem komentáře