Anubis is een beveiligingsmechanisme dat websites beschermt tegen agressieve scraping door AI-bedrijven. Door gebruik te maken van een proof-of-work-algoritme (geïnspireerd door Hashcash), wordt het proces voor scrapers kostbaar, terwijl de belasting voor normale gebruikers minimaal blijft.
Het is een tijdelijke oplossing totdat er betere methoden zijn om headless browsers te herkennen. Voor de werking is JavaScript vereist en moeten moderne JavaScript-functies worden ondersteund, wat betekent dat plugins zoals JShelter uitgeschakeld moeten worden om de site correct te kunnen bezoeken.
Anubis: Bescherming tegen AI-scraping
Wat is Anubis?
Anubis is een compromis in de strijd tegen scrapers. Het maakt gebruik van een proof-of-work-algoritme, geïnspireerd door Hashcash (een algoritme voor het verminderen van e-mailspam). Het idee hierachter is dat de belasting voor individuele gebruikers minimaal is, terwijl het proces voor scrapers veel duurder wordt.
Toekomst en ontwikkeling
De inzet van Anubis is een tijdelijke oplossing. Het doel is om meer tijd te winnen voor het identificeren en herkennen van headless browsers (bijvoorbeeld via de manier waarop zij lettertypen renderen). Wanneer dit proces is geoptimaliseerd, hoeft de proof-of-work-pagina niet meer te worden gepresenteerd aan gebruikers die waarschijnlijk legitiem zijn.
Technische vereisten
JavaScript
Om voorbij deze uitdaging te komen, moet JavaScript zijn ingeschakeld. Dit is noodzakelijk omdat AI-bedrijven het sociale contract rond de werking van websitehosting hebben veranderd. Een oplossing die geen JavaScript vereist, is nog in ontwikkeling.
Compatibiliteit
Anubis vereist het gebruik van moderne JavaScript-functies. Deze functies kunnen worden geblokkeerd door plugins zoals JShelter. Om de website correct te kunnen gebruiken, dienen JShelter of soortgelijke plugins te worden uitgeschakeld voor dit domein.
Anubis: Bescherming tegen AI-scraping
Wat is Anubis?
Anubis is een compromis in de strijd tegen scrapers. Het maakt gebruik van een proof-of-work-algoritme, geïnspireerd door Hashcash (een algoritme voor het verminderen van e-mailspam). Het idee hierachter is dat de belasting voor individuele gebruikers minimaal is, terwijl het proces voor scrapers veel duurder wordt.
Toekomst en ontwikkeling
De inzet van Anubis is een tijdelijke oplossing. Het doel is om meer tijd te winnen voor het identificeren en herkennen van headless browsers (bijvoorbeeld via de manier waarop zij lettertypen renderen). Wanneer dit proces is geoptimaliseerd, hoeft de proof-of-work-pagina niet meer te worden gepresenteerd aan gebruikers die waarschijnlijk legitiem zijn.
Technische vereisten
JavaScript
Om voorbij deze uitdaging te komen, moet JavaScript zijn ingeschakeld. Dit is noodzakelijk omdat AI-bedrijven het sociale contract rond de werking van websitehosting hebben veranderd. Een oplossing die geen JavaScript vereist, is nog in ontwikkeling.
Compatibiliteit
Anubis vereist het gebruik van moderne JavaScript-functies. Deze functies kunnen worden geblokkeerd door plugins zoals JShelter. Om de website correct te kunnen gebruiken, dienen JShelter of soortgelijke plugins te worden uitgeschakeld voor dit domein.
Groetjes,