Anubis: Bescherming tegen AI-scraping

Hoe Anubis werkt

Anubis is een compromis. Het maakt gebruik van een proof-of-work-algoritme in de geest van Hashcash, een algoritme dat oorspronkelijk is ontwikkeld voor het verminderen van e-mailspam. Het idee hierachter is dat de inspanning voor individuele bezoekers minimaal is, maar dat het voor scrapers veel duurder wordt.

Een tijdelijke oplossing

Uiteindelijk is dit een tijdelijke oplossing. Er wordt gestreefd naar meer tijd om headless browsers beter te kunnen identificeren en herkennen (bijvoorbeeld via de manier waarop ze lettertypen renderen). Op die manier hoeft de proof-of-work-pagina in de toekomst niet meer gepresenteerd te worden aan gebruikers die waarschijnlijker legitiem zijn.

Technische vereisten

Om voorbij deze uitdaging te komen, is het noodzakelijk om JavaScript in te schakelen. Dit is nodig omdat AI-bedrijven het sociale contract rond de werking van websitehosting hebben veranderd. Een oplossing zonder JavaScript is nog in ontwikkeling.

Daarnaast vereist Anubis het gebruik van moderne JavaScript-functies. Deze functies worden soms uitgeschakeld door plugins zoals JShelter. Indien nodig dienen JShelter of soortgelijke plugins voor dit domein te worden uitgeschakeld.