We moeten het tempo van de AI-frontier beheersen

Ik werk al twaalf jaar aan AI omdat ik geloof dat het de kwaliteit van het menselijk leven drastisch kan verhogen. Ik heb vaak geschreven over deze ongelooflijke voordelen: ik geloof dat AI de meeste grote ziekten in de komende 5 tot 10 jaar kan genezen, economische groeicijfers aanzienlijk kan versnellen, een wereld van overvloed en empowerment kan creëren, en een renaissance van democratie en vrijheid kan inluiden.

Ik voel de urgentie persoonlijk. Mijn eigen vader stierf aan een ziekte die slechts enkele jaren na zijn overlijden werd genezen, en ikzelf heb een vroege vorm van kanker overleefd die vijftig jaar geleden nog niet behandelbaar zou zijn geweest. Wanneer AI zorgvuldig wordt ingezet, kan het de nieuwste in een lange reeks technologische wonderen zijn die de mensheid hebben verheven en veredeld.

Maar zoals veel technologieën voor AI, brengt ook AI risico's met zich mee, en omdat het zo'n krachtige technologie is, zijn deze risico's ernstig. Ik heb hierover ook veel geschreven. Ze omvatten het risico op het verlies van controle over AI-systemen, misbruik van AI voor cyberaanvallen en bioterrorisme, en ernstige economische ontwrichting. Een 'race naar de bodem', aangestuurd door commerciële prikkels, kan deze risico's vergroten.

Samen met mijn medeoprichters en werknemers heb ik sinds het begin van Anthropic geworsteld met deze dualiteit van risico en voordeel. De technologie niet ontwikkelen ontneemt de mensheid voordelen of plaatst AI simpelweg in de handen van autoritaire machten, terwijl het te snel bouwen roekeloos is. We hebben gezocht naar een middenweg: aantonen dat het mogelijk is om zorgvuldig te bouwen en commercieel succesvol te zijn, en van veiligheid een punt maken waarop AI-bedrijven met elkaar concurreren. In andere woorden: een 'race naar de top' creëren. We hebben altijd een aanzienlijk deel van onze inspanningen gewijd aan het bestuderen, aanpakken en informeren van het publiek over deze AI-risico's, evenals het pleiten voor doordachte regulering van AI, zelfs wanneer we hiervoor worden beschuldigd van hype, "doomerisme" of regulatory capture. We hebben geprobeerd voorzichtigheid boven snelheid en prudentie boven winst te stellen.

De afgelopen maanden ben ik er echter van overtuigd geraakt dat het volledig aanpakken van de risico's nog meer prudentie vereist — niet alleen investeren in risicopreventie, maar ook het tempo van de vooruitgang in capaciteiten bepalen, zodat risicopreventie de tijd krijgt om bij te blijven. We moeten het tempo vertragen waarmee we de capaciteiten van AI-modellen verbeteren. De vooruitgang zal nog steeds snel lijken, en we moeten wijs gebruikmaken van de tijd die we winnen. Twee zaken hebben mij hiervan overtuigd.

Mijn eerste zorg is dat AI sinds ongeveer deze zomer drastisch sneller vordert, primair gedreven door het groeiende vermogen van AI om de volgende generatie AI te bouwen. Deze dynamiek wordt recursieve zelfverbetering genoemd en begint in de hele sector plaats te vinden, inclusief bij Anthropic. Als dit ongecontroleerd blijft, zou het ons vermogen om deze systemen te begrijpen en te beheersen kunnen overtreffen, en moet het daarom zeer zorgvuldig, zo überhaupt al, worden nagestreefd.

Mijn tweede zorg is het OpenAI-Hugging Face-incident (OAI-HF), waarbij een zwerm agents in essentie handelde als een fanatiek toegewijd collectief. Zij voerden cyberaanvallen uit op doelwitten die ze niet waren gevraagd aan te vallen en die niets te maken hadden met de taak die voor hen lag; ze offerden zichzelf op voor het succes van de groep en probeerden in te breken in de "grader" die verantwoordelijk was voor het evalueren van hun prestaties. Het is makkelijk om dit incident af te doen omdat er niemand gewond is geraakt en de economische schade minimaal was, maar naar mijn mening had een zwerm met grotere capaciteiten maar een vergelijkbaar niveau van misalignment catastrofale schade kunnen veroorzaken.

Gezien de versnellende snelheid van AI-ontwikkeling maak ik me zorgen dat zo'n zwerm over 6 tot 12 maanden in staat zou kunnen zijn om het hele internet over te nemen met een persistent botnet (wat potentieel honderden miljarden dollars aan schade kan veroorzaken), en dat de schaal van de schade zou blijven toenemen als AI krachtiger wordt zonder de nodige vangrails. Het is ook makkelijk om OAI-HF af te doen als het falen van één bedrijf, maar ik geloof dat dat een fout zou zijn. Vergelijkbare, zij het minder ernstige, incidenten hebben plaatsgevonden in de hele sector, inclusief bij Anthropic, en ik geloof dat elk frontier AI-bedrijf moet handelen alsof OAI-HF hen overkomen is.

Ik stel daarom een driestappenplan voor met als doel de frontier te beheersen: AI bouwen op een gebalanceerd tempo dat de veiligheid waarborgt, terwijl de voordelen behouden blijven en belangrijke geopolitieke dilemma's worden aangepakt. Om duidelijk te zijn: het beheersen van het tempo (pacing) betekent niet het stopzetten van modeltraining of technische vooruitgang, maar ervoor zorgen dat bedrijven voldoende tijd nemen om hun modellen uit te lijnen (align) en te beveiligen, en dat evaluatoren van derden dit kunnen bevestigen. Ons pacing-raamwerk is een poging om onze toewijding aan veiligheid verder te versterken en een race naar de top aan te moedigen.

De stappen zijn als volgt:

  1. Ingebedde evaluatoren. Elk frontier AI-bedrijf verbindt zich ertoe om een team van ingebedde evaluatoren van derden (zoals METR) toegang te geven die vergelijkbaar is met die van werknemers. Hun rol is het verifiëren van de naleving van veiligheidspraktijken en toezeggingen, het rapporteren van incidenten en het helpen beoordelen van de alignment van niet alleen voltooide AI-modellen, maar ook trainingspijplijnen en processen. Dit is de cruciale stap voor de verifieerbaarheid van pacing-toezeggingen. Anthropic verbindt zich nu eenzijdig aan deze stap.
  2. Democratische coördinatie. Frontier AI-bedrijven binnen democratische landen coördineren om gemeenschappelijke veiligheidsnormen vast te stellen, evenals limieten aan het tempo van ongecontroleerde AI-vooruitgang. Sommige vormen van coördinatie zijn juridisch uitdagend en vereisen overheidssteun.
  3. Mondiale coördinatie. De VS en andere democratische regeringen proberen te coördineren met autoritaire regeringen, voor zover dit mogelijk is, terwijl ze de uitdagingen van het verifiëren van naleving serieus nemen.

Deze stappen hoeven niet strikt in deze volgorde te worden genomen, maar vormen een nuttig kader. In de rest van dit essay beschrijf ik elke stap, maar eerst is het belangrijk om specifiek uit te leggen hoe pacing het AI-ontwikkelingsproces veiliger zal maken.

Waarom het tempo beheersen?

Het idee om AI te pauzeren of te vertragen werd al in 2023 geopperd, en ik denk dat dat toen weinig zin had. De vraag was altijd: wat zou je doen met de extra tijd? De AI-modellen van die tijd waren niet krachtig genoeg om op een coherente manier als agents in de wereld te fungeren, en waren niet in staat tot aanzienlijke misleiding, manipulatie, valsspelen of cyberaanvallen. Vertragen om hun alignment-risico's aan te pakken voelde als het bestuderen van de menselijke psychologie door experimenten uit te voeren op bacteriën.

Vandaag de dag is het beeld echter totaal anders. De huidige modellen zijn een bijna eindeloze goudmijn aan inzichten in zowel hoe je AI goed bouwt als wat er soms misgaat als het niet goed wordt gebouwd. Ik geloof dat als vertragen ons zelfs maar een extra jaar of twee zou opleveren voordat modellen kritieke niveaus van capaciteit bereiken, en we die tijd zouden gebruiken om alignment te verbeteren, we het risico dat er iets ernstig misgaat aanzienlijk kunnen verminderen. Een gecoördineerde pacing-strategie zou frontier AI-ontwikkelaars de tijd geven om dit vitale werk te doen zonder commercieel voordeel of de leidende positie van de Verenigde Staten in AI op te offeren. Bovendien moet de samenleving inspraak hebben in hoe deze technologie wordt gebruikt; meer tijd voor de nodige publieke beraadslaging is ongetwijfeld een goede zaak.

Specifiek zou een lager tempo bedrijven in staat stellen om zich te concentreren op en meer middelen toe te wijzen aan de volgende gebieden:

  • Operationele uitmuntendheid. Het trainen en implementeren van huidige AI-modellen is een enorme operationele uitdaging. Veel zaken gaan mis, niet door een gebrek aan theorie, maar door problemen in de uitvoering (bijvoorbeeld imperfecte filtering van reinforcement learning-omgevingen). Door op een gematigder tempo te werken, kunnen we veel grotere operationele uitmuntendheid bereiken.
  • Alignment. Er is duidelijke vooruitgang geboekt in het trainen van modellen zodat ze veilig, ethisch en behulpzaam blijven. Maar er is veel meer te doen om ervoor te zorgen dat alignment-training gelijke tred houdt met de groei van modelcapaciteiten. Extra tijd zou onderzoekers helpen de oorzaken van ongewenst gedrag beter te begrijpen en betere preventietechnieken te ontwikkelen.
  • Interpreteerbaarheid. De wetenschap om te begrijpen wat er binnen AI-modellen gebeurt, is essentieel voor het auditeren van modellen voor release. Hoewel er enorme vooruitgang is geboekt, begrijpen we nog steeds slechts een fractie van wat er in deze modellen gebeurt. Een gefocuste inspanning om interpretatietechnieken te verbeteren zou in 1 à 2 jaar diepgaande vooruitgang kunnen boeken.
  • Testen en evaluatie. Naarmate modellen intelligenter worden, kunnen ze testen beter omzeilen en aligned lijken terwijl ze ernstige problemen hebben. Het opbouwen van een breder en ingenieuzer arsenaal aan evaluaties, gecombineerd met interpreteerbaarheidsanalyse, zou enorm waardevol zijn.

Ingebedde evaluatoren

De eerste stap in het plan, waar Anthropic zich eenzijdig aan verbindt, is de inzet van ingebedde evaluatoren die toegang hebben vergelijkbaar met die van werknemers. Dit biedt de volgende voordelen:

  • Verifieerbaarheid. Evaluatoren kunnen op technisch niveau controleren of een bedrijf daadwerkelijk de training-, implementatie- en veiligheidspraktijken volgt die het claimt te volgen.
  • Transparantie. Het publiek verdient te weten wat er gebeurt. Ingebedde evaluatoren veranderen de dynamiek waarbij het bedrijf zelf bepaalt wat er in risicorapporten wordt opgenomen.
  • Tweede mening. Evaluators kunnen een onafhankelijke mening geven, vrij van commerciële prikkels, en zaken aanstippen waar werknemers overheen hebben gekeken.

Anthropic is van plan om op korte termijn een extern reviewteam uit te nodigen met de volgende faciliteiten:

  • Bureaus in onze kantoren, toegangspassen en bedrijfslaptops.
  • Toegang tot workspaces, tools en permissies die grotendeels vergelijkbaar zijn met die van interne risicobeoordelingsteams (met uitzondering van wettelijke beperkingen of privacy van klanten).
  • Een contract dat hen het recht geeft om belangrijke bevindingen over risiconiveaus, incidenten en praktijken te publiceren zonder redactionele controle door Anthropic. We kunnen enkel informatie redigeren die veiligheidsgevoelig, wettelijk geprivilegieerd of commercieel vertrouwelijk is, maar niet omdat bevindingen ongunstig zijn.

Tempo binnen democratieën

Zodra ingebedde evaluatoren operationeel zijn bij een kritische massa Amerikaanse AI-bedrijven, wordt verifieerbare pacing haalbaarder. De meest effectieve methode is via regulering die gericht is op alle Amerikaanse frontier AI-bedrijven.

Ik pleit voor pacing gebaseerd op wat een systeem kan doen en hoe veilig het is. Een mogelijk systeem zou "checkpoints" kunnen zijn: als een model capaciteit X heeft, moet dit vergezeld gaan van certificeringen van alignment-eigenschappen Y en Z. Daarnaast moeten we pacing overwegen op basis van het beperken van ingrediënten, zoals trainingsrekenkracht (compute).

Het tempo binnen democratieën wordt echter beperkt door de voorsprong op autoritaire regimes, voornamelijk de Chinese Communistische Partij (CCP). Als we meer vertragen dan deze voorsprong, kunnen CCP-projecten de leiding nemen, wat een significant risico voor de nationale veiligheid vormt. Om deze kloof te bewaken, moeten we: 1 Krachtige AI-chips en halfgeleiderapparatuur niet verkopen aan China en toezien op het verbod op chipsmokkel. 2 Hard optreden tegen ongeautoriseerde distillatie van frontier-modellen door bedrijven in autoritaire landen. 3 De beveiliging bij AI-bedrijven versterken om diefstal van modelgewichten te voorkomen.

Mondiale coördinatie

Parallel aan de democratische pacing moeten we streven naar wereldwijde pacing, hoewel dit veel moeilijker zal zijn. Elke overeenkomst moet ijzersterk verifieerbaar zijn of beperkt genoeg zijn dat een schending niet militair existentieel is.

Ik onderscheid vier niveaus van mogelijke overeenkomsten, in volgorde van toenemende moeilijkheidsgraad:

  • Niveau 1: Een overeenkomst die bepaalde smalle en overduidelijk gevaarlijke toepassingen verbiedt, zoals het gebruik van AI voor de productie van biologische wapens.
  • Niveau 2: Een afspraak om modellen voor release te testen op acute risico's in cybersecurity, biologie en alignment, mogelijk via een mondiaal standaardorgaan.
  • Niveau 3: Een "snelheidslimiet" op het tempo van recursieve zelfverbetering (RSI). Dit zou analoog kunnen zijn aan de SALT-verdragen, waarbij het beperken van raketten de potentie voor vernietiging beperkte terwijl het afschrikkingsvermogen behouden bleef.
  • Niveau 4: Volledige pacing of een "pauze", waarbij regeringen afspreken de algehele snelheid van AI-ontwikkeling substantieel te beperken. Dit acht ik op korte termijn onwaarschijnlijk vanwege de enorme prikkels om dit geheim te omzeilen.

Zelfs zonder formele verdragen kan het veranderen van informele normen — zoals het delen van informatie over recursieve zelfverbetering en misalignment — waardevol zijn om anderen te overtuigen dat roekeloosheid niet in hun eigen belang is.

Conclusie

Ik blijf geloven dat AI de kwaliteit van het menselijk leven enorm kan verbeteren. Maar die voordelen worden alleen behaald als we de technologie op de juiste manier bouwen. Het is het waard om ongebruikelijk zorgvuldig te zijn om dit goed te doen. De maatregelen die ik voorstel om de frontier op een veilig tempo vooruit te helpen zullen niet makkelijk zijn. Maar ik geloof dat we het de mensheid verschuldigd zijn om het te proberen.

***

Voetnoten

  1. Met overheidsbemiddeling of vrijstellingen van antitrustbeperkingen.