Anubis is een beveiligingsmechanisme dat websites beschermt tegen grootschalige AI-scraping, een praktijk die vaak leidt tot server-downtime. De tool maakt gebruik van een proof-of-work-algoritme, geïnspireerd op Hashcash, waardoor het scrapen voor AI-bedrijven rekentechnisch kostbaar wordt, terwijl de impact voor individuele bezoekers minimaal blijft.
Het systeem is bedoeld als tijdelijke oplossing totdat er geavanceerdere methoden zijn om headless browsers te identificeren. Voor de werking van Anubis is JavaScript vereist, waardoor gebruikers worden geadviseerd om plugins die moderne JS-functies blokkeren (zoals JShelter) uit te schakelen voor de betreffende website.
Anubis: Bescherming tegen AI-scraping
Wat is Anubis?
Anubis is een compromis in de strijd tegen scrapers. Het maakt gebruik van een proof-of-work-algoritme, geïnspireerd op Hashcash (een algoritme dat oorspronkelijk is ontwikkeld voor het verminderen van e-mailspam). Het uitgangspunt is dat de benodigde rekenkracht voor individuele bezoekers minimaal is, maar dat het proces voor grootschalige scrapers aanzienlijk duurder wordt.
Doel en toekomstige ontwikkelingen
De huidige implementatie is een tijdelijke oplossing. Het doel is om meer tijd te winnen voor het identificeren en herkennen van headless browsers (bijvoorbeeld door te analyseren hoe deze lettertypen renderen). Wanneer dit is voltooid, hoeft de proof-of-work-pagina niet meer te worden gepresenteerd aan gebruikers die naar alle waarschijnlijkheid legitiem zijn.
Technische vereisten
Om toegang te krijgen tot de website, moet JavaScript zijn ingeschakeld. Dit is noodzakelijk omdat AI-bedrijven het sociale contract rond de werking van websitehosting hebben veranderd. Een oplossing die geen gebruikmaakt van JavaScript is momenteel nog in ontwikkeling.
Daarnaast vereist Anubis het gebruik van moderne JavaScript-functies. Plugins zoals JShelter kunnen deze functies uitschakelen. Gebruikers wordt geadviseerd om JShelter of soortgelijke plugins voor dit specifieke domein uit te schakelen.
Deze pagina wordt getoond omdat de beheerder van de website Anubis heeft geactiveerd om de server te beschermen tegen de plaag van AI-bedrijven die agressief websites scrapen. Dergelijke scraping kan leiden tot downtime, waardoor de website voor alle gebruikers ontoegankelijk wordt.
Anubis: Bescherming tegen AI-scraping
Wat is Anubis?
Anubis is een compromis in de strijd tegen scrapers. Het maakt gebruik van een proof-of-work-algoritme, geïnspireerd op Hashcash (een algoritme dat oorspronkelijk is ontwikkeld voor het verminderen van e-mailspam). Het uitgangspunt is dat de benodigde rekenkracht voor individuele bezoekers minimaal is, maar dat het proces voor grootschalige scrapers aanzienlijk duurder wordt.
Doel en toekomstige ontwikkelingen
De huidige implementatie is een tijdelijke oplossing. Het doel is om meer tijd te winnen voor het identificeren en herkennen van headless browsers (bijvoorbeeld door te analyseren hoe deze lettertypen renderen). Wanneer dit is voltooid, hoeft de proof-of-work-pagina niet meer te worden gepresenteerd aan gebruikers die naar alle waarschijnlijkheid legitiem zijn.
Technische vereisten
Om toegang te krijgen tot de website, moet JavaScript zijn ingeschakeld. Dit is noodzakelijk omdat AI-bedrijven het sociale contract rond de werking van websitehosting hebben veranderd. Een oplossing die geen gebruikmaakt van JavaScript is momenteel nog in ontwikkeling.
Daarnaast vereist Anubis het gebruik van moderne JavaScript-functies. Plugins zoals JShelter kunnen deze functies uitschakelen. Gebruikers wordt geadviseerd om JShelter of soortgelijke plugins voor dit specifieke domein uit te schakelen.
Groetjes,