AI botovi i masovno skeniranje interneta

ažurirano 2026-01-12

Nedavno su se na GNOME Gitlab instanci pojavile provere sa anime ilustracijama. Počeli su da koriste Anubis, novi Proof-of-Work sistem za blokiranje AI botova koji agresivno troše resurse.

Za razliku od alata koji truju podatke (eng. data poisoning), Anubis i slična rešenja funkcionišu kao zid čiji je cilj zaštita infrastrukture, a ne sabotaža modela. S obzirom na to da je noai meta oznaka (eng. metatag, noai meta tag) postalo beskorisno jer ga kompanije ignorišu, ovakva tarpit i Proof-of-Work (PoW) rešenja postaju bitna.

Da se razumemo: sabotaža modela nema smisla. U momentu pisanja ovog teksta, AI je odličan alat za sumiranje, pomoć, pretragu i slično. Svi imamo koristi od njih. No, moralno gledano, mnogi imaju poteškoća sa prihvatanjem činjenice da se slobodno dostupan sadržaj na internetu koristi bez kontrole. Ne bih dublje ulazio u tu temu jer je izuzetno kompleksna. Ovde se bavim nekim metodama odbrane "malog veba" od maskiranog DDoS-a :-)

Lista resursa, članaka i alata za praćenje:

• FOSS infrastructure is under attack by AI companies - prvi članak koji sam pokupio negde na Mastodonu
• Anubis: Proof-of-work proxy to prevent AI crawlers (techaro.lol) - Anubis diskusija na portalu Hacker News
• Block AI scrapers with Anubis - prvi Anubis članak na sajtu tvorca. Sve je počelo sa Amazon's AI crawler is making my git server unstable
• Dennis Schubert@Geraspora diaspora - (da, diaspora* i dalje postoji!)
• PHP-HTTP-Tarpit - "Confuse and waste bot scanners time"
• Nepenthes - "This is a tarpit intended to catch web crawlers"
• Markov Tarpits: An Evolving Strategy Against AI Crawlers
• Iocaine - "The deadliest poison known to AI"
• Quixotic - "Quixotic is a program that will feed fake content to bots and robots.txt-ignoring LLM scrapers"
• Trapping misbehaving bots in an AI Labyrinth
• AI bots strain Wikimedia as bandwidth surges 50%
• PoW Shield - "Project dedicated to fight Layer 7 DDoS with proof of work, with an additional WAF and controller"
• Checkpoint - "Checkpoint is a tiny reverse proxy that attempts to block AI by serving a cryptographic challenge"
• The Register: AI data-suckers would have to ask permission first under new bill (2025)
• Cloudflare: Introducing pay per crawl: Enabling content owners to charge AI crawlers for access (2025)
• TechCrunch: Cloudflare's new policy pushes AI companies to pay for publishers' content (2026)

Listu ću ažurirati kako se budu pojavljivala nova rešenja i članci koji su mi zanimljivi i koji pokazuju put ideja. Ovo je trenutno jedini način da se "mali veb" zaštiti od parazitiranja velikih modela.

Sa druge strane, bitno je naglasiti da je svima nama cilj da "hranimo veliku mašinu" dobrim podacima tako da sam siguran da će u budućnosti postojati neki balans između korektnog učenja modela i korišćenja naših podataka bez dodatnih troškova po pojedince.