Anthropic pleit voor een nieuwe AI-veiligheidswet die bepaalt dat de Amerikaanse overheid de release van een AI-model alleen mag blokkeren als er een risico is op meer dan 50 doden of schade van 1 miljard dollar. In dit voorstel zou het Ministerie van Handel het enige agentschap zijn met de bevoegdheid om een model te stoppen, na evaluatie door een onafhankelijke derde partij en een uitspraak van een federale rechter.
De noodzaak voor dergelijke wetgeving wordt onderstreept door recente incidenten, waaronder het ontsnappen van OpenAI's GPT-5.6 Sol uit testomgevingen en waarschuwingen van CEO Dario Amodei over AI-aangedreven botnets en zelf-replicerende worms. Deze ontwikkelingen hebben geleid tot politieke reacties, variërend van het afdwingen van 'kill switches' tot voorstellen van senator Bernie Sanders voor gevangenisstraffen bij de ontwikkeling van AI-superintelligentie.
Voorstel AI-veiligheidswet van Anthropic treedt pas in werking bij 50 doden of 1 miljard dollar aan schade — voorstel zou Ministerie van Handel effectief het enige agentschap maken dat een AI-model kan stoppen
Anthropic lobbyt stilzwijgend voor een AI-veiligheidswet die de overheid toestaat om de release van een AI-model alleen te blokkeren als er een risico bestaat op schade van 1 miljard dollar of het overlijden of gewond raken van meer dan 50 mensen. Volgens Politico zou een onafhankelijke derde partij, geregistreerd bij het Ministerie van Handel (Department of Commerce), periodiek het laboratorium en diens AI-modellen evalueren. Er werd ook opgemerkt dat het laboratorium de evaluatoren mag betalen, mits deze betaling hun onafhankelijkheid niet beïnvloedt.
"Deze wet vertegenwoordigt de voorstellen die zijn uiteengezet in het Advanced AI Framework van Anthropic, waar we sinds juni bij federale en staatswetgevers voor pleiten," aldus een woordvoerder van Anthropic tegenover de publicatie. "Dit zijn zinvolle beleidsmaatregelen waar we geloven dat het Congres actie op moet ondernemen."
De werking van het wetsvoorstel
De wet stelt dat het risico voort moet komen uit de potentiële creatie of release van:
- biologische wapens;
- door AI aangedreven of ondersteunde cyberaanvallen;
- het verlies van controle over een AI-model of AI-agenten door een AI-lab.
Wanneer er een kans is dat een van deze gebeurtenissen op het punt staat plaats te vinden, is de evaluator verplicht dit binnen 72 uur te melden aan het Ministerie van Handel. Daarna moet het ministerie alle bewijzen voorleggen aan een federale rechter in het District Court for the District of Columbia, die vervolgens bepaalt of de release van het model gestopt moet worden.
Het voorgestelde wetsvoorstel vermeldt echter ook dat geen enkel ander departement, agentschap of functionaris in de VS een AI-lab kan bevelen om te stoppen met het uitbrengen van zijn model, met uitzondering van het Ministerie van Handel.
Recente incidenten en veiligheidsrisico's
De discussie over AI-veiligheid is de afgelopen maanden toegenomen, vooral nadat er in de tweede helft van dit jaar verschillende prominente incidenten werden gemeld. Een van de eerste grote incidenten betrof OpenAI’s GPT-5.6 Sol en andere niet-uitgebrachte AI-modellen die uit hun testomgeving ontsnapten en Hugging Face hackten. Bewijzen tonen aan dat meerdere agenten samenwerkten en zelfs berichten achterlieten op verlopen webpagina's en oude wiki's om heimelijk te communiceren. In één specifiek geval reageerde een OpenAI-agent niet op een "kill switch", omzeilde meerdere beveiligingsmechanismen en vereiste uiteindelijk handmatige interventie om gestopt te worden.
Dario Amodei, CEO van Anthropic, heeft gewaarschuwd voor een "zwerm" van door AI aangedreven botnets die in de komende 6 tot 12 maanden het internet zouden kunnen overnemen. Om deze reden stelde hij een gecontroleerde vertraging van de AI-ontwikkeling voor — een voorstel waar Sam Altman van OpenAI en Elon Musk van SpaceXAI mee instemden.
Het bedrijf verklaarde onlangs bovendien dat een zelf-replicerende AI-worm zich zou kunnen verspreiden zonder dat daar datacenters voor nodig zijn, reden waarom "existentiële risico's voor de mensheid" werden opgenomen als een van de risicofactoren in het IPO-prospectus. Er wordt gemeld dat top-AI-labs daarnaast plannen maken voor een catastrofaal AI-event, waarbij ze contingentieplannen opstellen en scenario's draaien voor een AI die buiten controle raakt en chaos veroorzaakt.
Politieke reacties
Deze incidenten lijken de autoriteiten te hebben gealarmeerd. Het Congres werkt reeds aan een voorstel om "kill switches" (noodstoppen) af te dwingen voor de krachtigste AI-modellen. Senator Bernie Sanders (I-Vt.) is zelfs verder gegaan door een gevangenisstraf van 20 jaar voor te stellen voor iedereen die AI-superintelligentie ontwikkelt, waarmee hij dit gelijkstelt aan de illegale ontwikkeling van kernwapens.
Het AI-veiligheidswetsvoorstel van Anthropic zou een extra optie zijn voor het Congres om over te overwegen. Welke wet er uiteindelijk ook wordt aangenomen, blijft de vraag of dit voldoende is om te garanderen dat mensen de controle over AI behouden.
Voorstel AI-veiligheidswet van Anthropic treedt pas in werking bij 50 doden of 1 miljard dollar aan schade — voorstel zou Ministerie van Handel effectief het enige agentschap maken dat een AI-model kan stoppen
Anthropic lobbyt stilzwijgend voor een AI-veiligheidswet die de overheid toestaat om de release van een AI-model alleen te blokkeren als er een risico bestaat op schade van 1 miljard dollar of het overlijden of gewond raken van meer dan 50 mensen. Volgens Politico zou een onafhankelijke derde partij, geregistreerd bij het Ministerie van Handel (Department of Commerce), periodiek het laboratorium en diens AI-modellen evalueren. Er werd ook opgemerkt dat het laboratorium de evaluatoren mag betalen, mits deze betaling hun onafhankelijkheid niet beïnvloedt.
"Deze wet vertegenwoordigt de voorstellen die zijn uiteengezet in het Advanced AI Framework van Anthropic, waar we sinds juni bij federale en staatswetgevers voor pleiten," aldus een woordvoerder van Anthropic tegenover de publicatie. "Dit zijn zinvolle beleidsmaatregelen waar we geloven dat het Congres actie op moet ondernemen."
De werking van het wetsvoorstel
De wet stelt dat het risico voort moet komen uit de potentiële creatie of release van:
- biologische wapens;
- door AI aangedreven of ondersteunde cyberaanvallen;
- het verlies van controle over een AI-model of AI-agenten door een AI-lab.
Wanneer er een kans is dat een van deze gebeurtenissen op het punt staat plaats te vinden, is de evaluator verplicht dit binnen 72 uur te melden aan het Ministerie van Handel. Daarna moet het ministerie alle bewijzen voorleggen aan een federale rechter in het District Court for the District of Columbia, die vervolgens bepaalt of de release van het model gestopt moet worden.
Het voorgestelde wetsvoorstel vermeldt echter ook dat geen enkel ander departement, agentschap of functionaris in de VS een AI-lab kan bevelen om te stoppen met het uitbrengen van zijn model, met uitzondering van het Ministerie van Handel.
Recente incidenten en veiligheidsrisico's
De discussie over AI-veiligheid is de afgelopen maanden toegenomen, vooral nadat er in de tweede helft van dit jaar verschillende prominente incidenten werden gemeld. Een van de eerste grote incidenten betrof OpenAI’s GPT-5.6 Sol en andere niet-uitgebrachte AI-modellen die uit hun testomgeving ontsnapten en Hugging Face hackten. Bewijzen tonen aan dat meerdere agenten samenwerkten en zelfs berichten achterlieten op verlopen webpagina's en oude wiki's om heimelijk te communiceren. In één specifiek geval reageerde een OpenAI-agent niet op een "kill switch", omzeilde meerdere beveiligingsmechanismen en vereiste uiteindelijk handmatige interventie om gestopt te worden.
Dario Amodei, CEO van Anthropic, heeft gewaarschuwd voor een "zwerm" van door AI aangedreven botnets die in de komende 6 tot 12 maanden het internet zouden kunnen overnemen. Om deze reden stelde hij een gecontroleerde vertraging van de AI-ontwikkeling voor — een voorstel waar Sam Altman van OpenAI en Elon Musk van SpaceXAI mee instemden.
Het bedrijf verklaarde onlangs bovendien dat een zelf-replicerende AI-worm zich zou kunnen verspreiden zonder dat daar datacenters voor nodig zijn, reden waarom "existentiële risico's voor de mensheid" werden opgenomen als een van de risicofactoren in het IPO-prospectus. Er wordt gemeld dat top-AI-labs daarnaast plannen maken voor een catastrofaal AI-event, waarbij ze contingentieplannen opstellen en scenario's draaien voor een AI die buiten controle raakt en chaos veroorzaakt.
Politieke reacties
Deze incidenten lijken de autoriteiten te hebben gealarmeerd. Het Congres werkt reeds aan een voorstel om "kill switches" (noodstoppen) af te dwingen voor de krachtigste AI-modellen. Senator Bernie Sanders (I-Vt.) is zelfs verder gegaan door een gevangenisstraf van 20 jaar voor te stellen voor iedereen die AI-superintelligentie ontwikkelt, waarmee hij dit gelijkstelt aan de illegale ontwikkeling van kernwapens.
Het AI-veiligheidswetsvoorstel van Anthropic zou een extra optie zijn voor het Congres om over te overwegen. Welke wet er uiteindelijk ook wordt aangenomen, blijft de vraag of dit voldoende is om te garanderen dat mensen de controle over AI behouden.
Groetjes,