De strijd tegen 'stealth bots'
Het artikel bespreekt de Stealth Bot Prohibition Act en soortgelijke wetgeving die bedoeld is om website-eigenaren te beschermen tegen agressieve AI-scraping. Hoewel de schade door AI-ontwikkelaars — zoals het verlies van advertentie-inkomsten en referral-verkeer — legitiem is, betogen de auteurs dat de voorgestelde oplossing contraproductief is.
Kernpunten:
- Gevaar voor publiek belang: Het verbieden van anonieme crawlers bedreigt essentiële instrumenten voor onderzoeksjournalistiek, wetenschappelijk onderzoek en digitale archivering. Anonimiteit is vaak noodzakelijk om objectieve data te verzamelen zonder dat het onderwerp van onderzoek zijn gedrag aanpast.
- Identiteit versus gedrag: De auteurs stellen dat het onthullen van de identiteit van een bot niets zegt over de schadelijkheid ervan. Een geïdentificeerde bot kan nog steeds servers overbelasten, terwijl een anonieme bot maatschappelijk waardevolle taken kan uitvoeren.
- Maatschappelijke toepassingen: Web scraping wordt gebruikt voor diverse doelen, waaronder de Wayback Machine van het Internet Archive, het testen van webtoegankelijkheid en cybersecurity-dreigingsdetectie.
- Juridische en technische bezwaren: De wetgeving is vaag geformuleerd en zou in strijd kunnen zijn met het recht op het vrij ontvangen van informatie.
Alternatieve oplossingen:
In plaats van anonimiteit te verbieden, pleiten de auteurs voor:
- Het gebruik van bestaande privacy- en auteursrechtwetgeving.
- De ontwikkeling van gestandaardiseerde technische protocollen via instanties zoals de IETF.
- Wetgeving die zich richt op aantoonbaar schadelijk gedrag (zoals server-overbelasting) in plaats van de identiteit van de verzamelaar.
Het open web kapotmaken stopt de 'slechte bots' niet
Eind vorige maand waren meer dan 300 vertegenwoordigers van grote mediaplatforms op Capitol Hill om te pleiten voor de Stealth Bot Prohibition Act. Hun grief is legitiem: redacties worden getroffen door een enorme toename van geautomatiseerd verkeer, voornamelijk afkomstig van AI-ontwikkelaars. Deze ontwikkelaars extraheren enorme hoeveelheden online content, om website-eigenaren vervolgens potentieel te beroven van referral-verkeer en advertentie-inkomsten via generatieve AI-functies en chatbots die op die content zijn getraind. Dit is een reëel probleem dat een reële oplossing verdient.
Deze wetsvoorstellen richten zich echter niet direct op de schade die wordt veroorzaakt door misbruik van crawling. In plaats daarvan zouden ze iedereen die een website automatisch bezoekt, dwingen zichzelf en het doel van het verzamelen van publieke informatie te identificeren. In plaats van journalisten te beschermen, bedreigt de wet een essentieel instrument waar zij, en velen anderen, op vertrouwen om online informatie te verzamelen.
De rol van geautomatiseerde gegevensverzameling in de journalistiek
Hoogwaardige onderzoeksjournalistiek is afhankelijk van geautomatiseerde gegevensverzameling. In 2022 analyseerde een Pulitzer-winnend onderzoek van de Wall Street Journal meer dan 31.000 financiële openbaarmakingen van 12.000 hoge ambtenaren. Hieruit bleek dat bijna een kwart van de federale functionarissen handelde in aandelen van sectoren die door hun eigen agentschappen werden gereguleerd.
Om een onderzoek van deze omvang uit te voeren, vertrouwde de Journal op web scraping: een geautomatiseerd proces waarbij een softwarebot, een zogenaamde crawler, het internet afzoekt en informatie verzamelt. Dit fundamentele instrument van het open web wordt nu bedreigd door wetsvoorstellen die beweren zich te richten op "stealth crawling", maar in werkelijkheid legitieme activiteiten van algemeen belang belemmeren, waaronder archivering, journalistiek, onderzoek en veiligheid.
Het is onmiskenbaar dat agressieve, grootschalige scraping een echt probleem is — zeker nu de vraag naar AI-training en content is geëxplodeerd. Het kan websites overbelasten, kosten verhogen en instellingen die kennis produceren en bewaren bedreigen, waaronder commerciële uitgevers, Wikipedia, bibliotheken en het Internet Archive.
Analyse van de voorgestelde wetgeving
In een poging om problematische scraping-praktijken te verminderen of uit te bannen, zouden voorgestelde wetten, zoals de federale Stealth Bot Prohibition Act en de Stealth Crawler Prohibition Act van New York, verregaande verboden opleggen aan anonieme scraping, zonder de werkelijke schade aan te pakken.
Beide wetten definiëren een "bot" of "crawler" als software die "een website of andere internetbron ophaalt, scant, indexeert, scrapt of anderszins benadert". Een bot wordt als "stealth" beschouwd als deze zijn identiteit en het "specifieke karakter en doel van de bot" niet bekendmaakt.
- Federale wet: De FTC kan boetes tot $53.000 opleggen als iemand een stealth-bot gebruikt op een manier die "redelijkerwijs waarschijnlijk is om de technische of commerciële werking" van een website te "beschadigen, belemmeren of belasten". De wet biedt geen definitie of standaard voor wat "redelijkerwijs waarschijnlijk" is om een website te belemmeren.
- Wet van New York: Deze geldt alleen voor erkende nieuwssites. Een uitgever kan hier een dagvaarding (subpoena) verkrijgen om de identiteit van een crawler te onthullen, zonder dat er bewijs van schade hoeft te worden geleverd.
Identiteit versus gedrag
Het kennen van de identiteit achter een crawler zegt relatief weinig over de vraag of het gedrag schadelijk is. Onder de wet van New York zou een bedrijf dat zijn identiteit onthult en vervolgens een website 10.000 keer per minuut bezoekt, voldoen aan de wet, ondanks dat het enorme en waarschijnlijk onterechte kosten oplevert voor de site.
Daarentegen zou een journalist die anoniem een crawler gebruikt om potentieel anti-competitieve praktijken van techbedrijven te onderzoeken, de wet overtreden. Veel van de maatschappelijk meest waardevolle toepassingen van crawling vereisen anonimiteit. Het onthullen van de identiteit en doelen van een crawler kan de aard van de verzamelde informatie veranderen; als het onderwerp van de studie weet dat hij wordt geobserveerd en door wie, zal zijn gedrag veranderen. Dat is precies het punt van anoniem onderzoek.
Bovendien is niet alle geautomatiseerde gegevensverzameling misbruik, en wordt niet alles gebruikt voor AI-training. Deze wetsvoorstellen riskeren echter dat archivisten, onderzoekers en civic technologists afschrikt om deze tools te gebruiken uit angst voor juridische aansprakelijkheid.
Maatschappelijke toepassingen van scraping
Geautomatiseerde dataverzameling wordt voor diverse publieke doeleinden ingezet:
- Archivering: De Wayback Machine van het Internet Archive heeft crawlers gebruikt om meer dan een biljoen webpagina's te archiveren. Dit historisch archief dient als feitelijke achtergrond voor duizenden nieuwsberichten en als bewijsmateriaal in honderden rechtszaken.
- Toegankelijkheid: Voorvechters van mensen met een beperking hebben scraping gebruikt om automatisch meer dan een miljoen websites te evalueren op toegankelijkheidsproblemen.
- Volksgezondheid: Onderzoekers gebruiken scraping om de opioïdenepidemie en desinformatie over verslaving en behandeling te volgen.
- Cybersecurity: De federale overheid vertrouwt op crawlers voor dreigingsdetectie om gratis cybersecuritydiensten aan organisaties in het hele land aan te bieden.
- Milieuonderzoek: Onderzoekers die informatie verzamelen uit openbare bedrijfsverslagen of satellietbeeldportalen, zijn vaak afhankelijk van anonimiteit om represailles van de onderzochte bedrijven te voorkomen.
Juridische en technische bezwaren
Het Eerste Amendement (First Amendment) heeft ons historisch beschermd tegen door de overheid opgelegde identificatie-eisen die verbonden zijn aan het ontvangen van informatie. In de zaak Lamont v. Postmaster General vernietigde het Hooggerechtshof een wet die ontvangers verplichtte zich te identificeren voordat zij bepaalde politieke publicaties konden ontvangen. Hetzelfde principe is van toepassing op web crawling: het eisen dat mensen zichzelf identificeren als voorwaarde voor het raadplegen van publiekelijk beschikbare informatie, vormt een belemmering voor de vrijheid om informatie te ontvangen.
Deze zorg wordt versterkt door het vage taalgebruik in de wetten. Als onderzoekers niet gemakkelijk kunnen begrijpen wat het betekent om een crawler op een verboden manier "in te zetten", of welke activiteit "redelijkerwijs waarschijnlijk is om een website te belasten of belemmeren", zullen ze scraping mogelijk vermijden om het risico op wetsovertreding te omzeilen.
Het onthullen van een crawler lost de kernproblemen niet op:
- Het vermindert het aantal verzoeken naar een server niet.
- Het compenseert een uitgever wiens content is gebruikt voor een AI-product niet.
- Het herstelt het referral-verkeer niet dat uitgevers verliezen wanneer gebruikers een AI-chatbot raadplegen.
Alternatieve oplossingen
Bestaande wetten kunnen al worden gebruikt om schadelijk gebruik van gescrapte data aan te pakken:
- Privacywetgeving kan beperken hoe gevoelige gegevens worden verwerkt.
- Auteursrecht kan reageren op inbreukmakende AI-gegenereerde output.
- Consumentenbescherming kan misleidende gegevensverzameling aanpakken.
Om de specifieke problemen van agressieve AI-scraping aan te pakken, zouden beleidsmakers de ontwikkeling van gestandaardiseerde, interoperabele technische oplossingen kunnen ondersteunen. Instanties zoals de Internet Engineering Task Force (IETF) onderzoeken nieuwe protocollen voor het beheren van machine-toegang tot online content en ontwikkelen mechanismen voor anonieme attestering van goed crawler-gedrag.
Indien nieuwe wetgeving noodzakelijk is, zou aansprakelijkheid moeten rusten op gedrag dat aantoonbare schade veroorzaakt, zoals het overbelasten van servers met excessieve verzoeken, fraude, of het verzamelen van gegevens voor verboden doeleinden.
Conclusie
De opkomst van AI-crawling stelt uitgevers en websitebeheerders voor legitieme uitdagingen, maar anonimiteit mag niet op zichzelf als fout worden beschouwd. Het open web is afhankelijk van de mogelijkheid om publiek beschikbare informatie te raadplegen, te analyseren en te bewaren zonder eerst de identiteit te onthullen of toestemming te vragen aan elke individuele website-eigenaar.
***
Over de auteurs
- Lila Bailey is Senior Policy Counsel voor het Internet Archive, een non-profit onderzoeksbibliotheek die 30 jaar aan webgeschiedenis gratis beschikbaar stelt via de Wayback Machine.
- Tess Vartanian is Legal Fellow bij het Center for Democracy & Technology, waar zij zich richt op de vrijheid van meningsuiting van internetgebruikers, Section 230 van de Communications Decency Act en het bevorderen van een open internet.
Het open web kapotmaken stopt de 'slechte bots' niet
Eind vorige maand waren meer dan 300 vertegenwoordigers van grote mediaplatforms op Capitol Hill om te pleiten voor de Stealth Bot Prohibition Act. Hun grief is legitiem: redacties worden getroffen door een enorme toename van geautomatiseerd verkeer, voornamelijk afkomstig van AI-ontwikkelaars. Deze ontwikkelaars extraheren enorme hoeveelheden online content, om website-eigenaren vervolgens potentieel te beroven van referral-verkeer en advertentie-inkomsten via generatieve AI-functies en chatbots die op die content zijn getraind. Dit is een reëel probleem dat een reële oplossing verdient.
Deze wetsvoorstellen richten zich echter niet direct op de schade die wordt veroorzaakt door misbruik van crawling. In plaats daarvan zouden ze iedereen die een website automatisch bezoekt, dwingen zichzelf en het doel van het verzamelen van publieke informatie te identificeren. In plaats van journalisten te beschermen, bedreigt de wet een essentieel instrument waar zij, en velen anderen, op vertrouwen om online informatie te verzamelen.
De rol van geautomatiseerde gegevensverzameling in de journalistiek
Hoogwaardige onderzoeksjournalistiek is afhankelijk van geautomatiseerde gegevensverzameling. In 2022 analyseerde een Pulitzer-winnend onderzoek van de Wall Street Journal meer dan 31.000 financiële openbaarmakingen van 12.000 hoge ambtenaren. Hieruit bleek dat bijna een kwart van de federale functionarissen handelde in aandelen van sectoren die door hun eigen agentschappen werden gereguleerd.
Om een onderzoek van deze omvang uit te voeren, vertrouwde de Journal op web scraping: een geautomatiseerd proces waarbij een softwarebot, een zogenaamde crawler, het internet afzoekt en informatie verzamelt. Dit fundamentele instrument van het open web wordt nu bedreigd door wetsvoorstellen die beweren zich te richten op "stealth crawling", maar in werkelijkheid legitieme activiteiten van algemeen belang belemmeren, waaronder archivering, journalistiek, onderzoek en veiligheid.
Het is onmiskenbaar dat agressieve, grootschalige scraping een echt probleem is — zeker nu de vraag naar AI-training en content is geëxplodeerd. Het kan websites overbelasten, kosten verhogen en instellingen die kennis produceren en bewaren bedreigen, waaronder commerciële uitgevers, Wikipedia, bibliotheken en het Internet Archive.
Analyse van de voorgestelde wetgeving
In een poging om problematische scraping-praktijken te verminderen of uit te bannen, zouden voorgestelde wetten, zoals de federale Stealth Bot Prohibition Act en de Stealth Crawler Prohibition Act van New York, verregaande verboden opleggen aan anonieme scraping, zonder de werkelijke schade aan te pakken.
Beide wetten definiëren een "bot" of "crawler" als software die "een website of andere internetbron ophaalt, scant, indexeert, scrapt of anderszins benadert". Een bot wordt als "stealth" beschouwd als deze zijn identiteit en het "specifieke karakter en doel van de bot" niet bekendmaakt.
- Federale wet: De FTC kan boetes tot $53.000 opleggen als iemand een stealth-bot gebruikt op een manier die "redelijkerwijs waarschijnlijk is om de technische of commerciële werking" van een website te "beschadigen, belemmeren of belasten". De wet biedt geen definitie of standaard voor wat "redelijkerwijs waarschijnlijk" is om een website te belemmeren.
- Wet van New York: Deze geldt alleen voor erkende nieuwssites. Een uitgever kan hier een dagvaarding (subpoena) verkrijgen om de identiteit van een crawler te onthullen, zonder dat er bewijs van schade hoeft te worden geleverd.
Identiteit versus gedrag
Het kennen van de identiteit achter een crawler zegt relatief weinig over de vraag of het gedrag schadelijk is. Onder de wet van New York zou een bedrijf dat zijn identiteit onthult en vervolgens een website 10.000 keer per minuut bezoekt, voldoen aan de wet, ondanks dat het enorme en waarschijnlijk onterechte kosten oplevert voor de site.
Daarentegen zou een journalist die anoniem een crawler gebruikt om potentieel anti-competitieve praktijken van techbedrijven te onderzoeken, de wet overtreden. Veel van de maatschappelijk meest waardevolle toepassingen van crawling vereisen anonimiteit. Het onthullen van de identiteit en doelen van een crawler kan de aard van de verzamelde informatie veranderen; als het onderwerp van de studie weet dat hij wordt geobserveerd en door wie, zal zijn gedrag veranderen. Dat is precies het punt van anoniem onderzoek.
Bovendien is niet alle geautomatiseerde gegevensverzameling misbruik, en wordt niet alles gebruikt voor AI-training. Deze wetsvoorstellen riskeren echter dat archivisten, onderzoekers en civic technologists afschrikt om deze tools te gebruiken uit angst voor juridische aansprakelijkheid.
Maatschappelijke toepassingen van scraping
Geautomatiseerde dataverzameling wordt voor diverse publieke doeleinden ingezet:
- Archivering: De Wayback Machine van het Internet Archive heeft crawlers gebruikt om meer dan een biljoen webpagina's te archiveren. Dit historisch archief dient als feitelijke achtergrond voor duizenden nieuwsberichten en als bewijsmateriaal in honderden rechtszaken.
- Toegankelijkheid: Voorvechters van mensen met een beperking hebben scraping gebruikt om automatisch meer dan een miljoen websites te evalueren op toegankelijkheidsproblemen.
- Volksgezondheid: Onderzoekers gebruiken scraping om de opioïdenepidemie en desinformatie over verslaving en behandeling te volgen.
- Cybersecurity: De federale overheid vertrouwt op crawlers voor dreigingsdetectie om gratis cybersecuritydiensten aan organisaties in het hele land aan te bieden.
- Milieuonderzoek: Onderzoekers die informatie verzamelen uit openbare bedrijfsverslagen of satellietbeeldportalen, zijn vaak afhankelijk van anonimiteit om represailles van de onderzochte bedrijven te voorkomen.
Juridische en technische bezwaren
Het Eerste Amendement (First Amendment) heeft ons historisch beschermd tegen door de overheid opgelegde identificatie-eisen die verbonden zijn aan het ontvangen van informatie. In de zaak Lamont v. Postmaster General vernietigde het Hooggerechtshof een wet die ontvangers verplichtte zich te identificeren voordat zij bepaalde politieke publicaties konden ontvangen. Hetzelfde principe is van toepassing op web crawling: het eisen dat mensen zichzelf identificeren als voorwaarde voor het raadplegen van publiekelijk beschikbare informatie, vormt een belemmering voor de vrijheid om informatie te ontvangen.
Deze zorg wordt versterkt door het vage taalgebruik in de wetten. Als onderzoekers niet gemakkelijk kunnen begrijpen wat het betekent om een crawler op een verboden manier "in te zetten", of welke activiteit "redelijkerwijs waarschijnlijk is om een website te belasten of belemmeren", zullen ze scraping mogelijk vermijden om het risico op wetsovertreding te omzeilen.
Het onthullen van een crawler lost de kernproblemen niet op:
- Het vermindert het aantal verzoeken naar een server niet.
- Het compenseert een uitgever wiens content is gebruikt voor een AI-product niet.
- Het herstelt het referral-verkeer niet dat uitgevers verliezen wanneer gebruikers een AI-chatbot raadplegen.
Alternatieve oplossingen
Bestaande wetten kunnen al worden gebruikt om schadelijk gebruik van gescrapte data aan te pakken:
- Privacywetgeving kan beperken hoe gevoelige gegevens worden verwerkt.
- Auteursrecht kan reageren op inbreukmakende AI-gegenereerde output.
- Consumentenbescherming kan misleidende gegevensverzameling aanpakken.
Om de specifieke problemen van agressieve AI-scraping aan te pakken, zouden beleidsmakers de ontwikkeling van gestandaardiseerde, interoperabele technische oplossingen kunnen ondersteunen. Instanties zoals de Internet Engineering Task Force (IETF) onderzoeken nieuwe protocollen voor het beheren van machine-toegang tot online content en ontwikkelen mechanismen voor anonieme attestering van goed crawler-gedrag.
Indien nieuwe wetgeving noodzakelijk is, zou aansprakelijkheid moeten rusten op gedrag dat aantoonbare schade veroorzaakt, zoals het overbelasten van servers met excessieve verzoeken, fraude, of het verzamelen van gegevens voor verboden doeleinden.
Conclusie
De opkomst van AI-crawling stelt uitgevers en websitebeheerders voor legitieme uitdagingen, maar anonimiteit mag niet op zichzelf als fout worden beschouwd. Het open web is afhankelijk van de mogelijkheid om publiek beschikbare informatie te raadplegen, te analyseren en te bewaren zonder eerst de identiteit te onthullen of toestemming te vragen aan elke individuele website-eigenaar.
***
Over de auteurs
- Lila Bailey is Senior Policy Counsel voor het Internet Archive, een non-profit onderzoeksbibliotheek die 30 jaar aan webgeschiedenis gratis beschikbaar stelt via de Wayback Machine.
- Tess Vartanian is Legal Fellow bij het Center for Democracy & Technology, waar zij zich richt op de vrijheid van meningsuiting van internetgebruikers, Section 230 van de Communications Decency Act en het bevorderen van een open internet.
Groetjes,