Anubis: Bescherming tegen AI-scraping

Wat is Anubis?

Anubis is een compromis in de strijd tegen scrapers. Het maakt gebruik van een proof-of-work-algoritme, geïnspireerd op Hashcash (een algoritme dat oorspronkelijk is ontwikkeld voor het verminderen van e-mailspam). Het uitgangspunt is dat de benodigde rekenkracht voor individuele bezoekers minimaal is, maar dat het proces voor grootschalige scrapers aanzienlijk duurder wordt.

Doel en toekomstige ontwikkelingen

De huidige implementatie is een tijdelijke oplossing. Het doel is om meer tijd te winnen voor het identificeren en herkennen van headless browsers (bijvoorbeeld door te analyseren hoe deze lettertypen renderen). Wanneer dit is voltooid, hoeft de proof-of-work-pagina niet meer te worden gepresenteerd aan gebruikers die naar alle waarschijnlijkheid legitiem zijn.

Technische vereisten

Om toegang te krijgen tot de website, moet JavaScript zijn ingeschakeld. Dit is noodzakelijk omdat AI-bedrijven het sociale contract rond de werking van websitehosting hebben veranderd. Een oplossing die geen gebruikmaakt van JavaScript is momenteel nog in ontwikkeling.

Daarnaast vereist Anubis het gebruik van moderne JavaScript-functies. Plugins zoals JShelter kunnen deze functies uitschakelen. Gebruikers wordt geadviseerd om JShelter of soortgelijke plugins voor dit specifieke domein uit te schakelen.