Diskusije na temu AI botova i skeniranja interneta

ažurirano 2025-05-03

Primetio sam na GNOME Gitlab instanci neke nove provere sa nekim anime sličicama pre par dana. Počeli su da koriste Anubis. To je novi program za sprečavanje AI botova koji vole da klikću po sajtovima i da jedu protok i resurse. Verovatno nije prvi sistem ovog tipa ali mi se čini da je prvi koji ne postoji sa ciljem da zatruje podatke koje AI prikuplja. Sa tim ciljem sam sakupio par članaka na tu temu da se nađu. Prevencija nas čeka u budućnosti a dodavanje noai u listu zaglavlja ne služi ničemu iako je postojala inicijativa.

Dakle, neke adrese koje ću da ostavim ovde za sebe su

• FOSS infrastructure is under attack by AI companies - prvi članak koji sam pokupio negde na Mastodonu
• Anubis: Proof-of-work proxy to prevent AI crawlers (techaro.lol) - Anubis diskusija na portalu Hacker News
• Block AI scrapers with Anubis - prvi Anubis članak na sajtu tvorca. Sve je počelo sa Amazon's AI crawler is making my git server unstable
• Dennis Schubert@Geraspora diaspora - (da, diaspora* i dalje postoji!)
• PHP-HTTP-Tarpit - "Confuse and waste bot scanners time"
• Nepenthes - "This is a tarpit intended to catch web crawlers"
• Markov Tarpits: An Evolving Strategy Against AI Crawlers
• Iocaine - "The deadliest poison known to AI"
• Quixotic - "Quixotic is a program that will feed fake content to bots and robots.txt-ignoring LLM scrapers"
• Trapping misbehaving bots in an AI Labyrinth
• AI bots strain Wikimedia as bandwidth surges 50%
• PoW Shield - "Project dedicated to fight Layer 7 DDoS with proof of work, with an additional WAF and controller"
• Checkpoint - "Checkpoint is a tiny reverse proxy that attempts to block AI by serving a cryptographic challenge"

Biće još sadržaja na ovu temu, ažuriraću ako budem mogao. Bitno mi je da imam listu ovih alata na jednom mestu kako bih pratio razvoj i rešenja.