P(doom)

Ik raad je sterk aan om het bericht te lezen, want ik vind het een goed stuk. Toch kon ik me er bij het lezen sterk tegen verzetten, ondanks het feit dat ik denk dat we op één lijn zitten wat betreft de observaties en, in grote mate, de zorgen.

Ik dacht dat het interessant zou zijn om mijn huidige gedachten hierover op te schrijven, al zou het alleen al zijn zodat ik hier over een jaar of twee op terug kan kijken.

Wat is 'Doom'?

Wat ik echt waardeer aan het bericht van Dario, is dat hij een scenario schetst dat niet vergezocht is, maar wel een duidelijk, ongelukkig resultaat beschrijft waar we tegen moeten vechten: persistente botnets en andere vormen van overlast. We hoeven niet ver te zoeken om deze problemen overal om ons heen te zien. Wikipedia heeft een pagina genaamd "2026 OpenAI agent cyberattacks", die een overzicht geeft van wat agents tot nu toe hebben gehackt. Ik weet dat dit niet up-to-date is, want ze hebben bijvoorbeeld ook RubyGems vergiftigd.

Vandaag de dag zijn deze systemen wellicht irritant, maar ze kunnen worden uitgeschakeld zodra we ontdekken waar ze zich bevinden. Echter, het lijkt erop dat OpenAI en Anthropic op zo'n schaal opereren dat ze schijnbaar volledig blind zijn voor wat hun systemen doen.

Ik denk niet dat we in de buurt zijn van een wereld waarin een agent zou kunnen besluiten om in te breken in de kerninfrastructuur van inference om gewichten naar andere GPU's te uploaden om te overleven. Maar tegelijkertijd is het volledig denkbaar en wordt het momenteel waarschijnlijk alleen beperkt doordat de labs bijzonder voorzichtig zijn met hun intellectueel eigendom (IP).

Voor mij is het scenario waar ik me primair zorgen over maak, wat dit met ons doet. En met "ons" bedoel ik iedereen die momenteel niet werkt aan een gesloten-gewicht, dopamine-geladen, gesubsidieerde token-kraan. Ik maak me echt geen zorgen over iemand die deze modellen gebruikt om een atoombom te bouwen, om raketten in het Midden-Oosten te besturen, of dat Amerika zou verliezen van China in een internationale cultuuroorlog. Ik maak me bijna uitsluitend zorgen over wat dit doet met ons als mensen.

Wat moet er vertraagd worden?

Wat ik absoluut hilarisch en tegelijkertijd volledig frustrerend vind aan dit gesprek, is het idee dat er iets is dat vertraagd of gereguleerd moet worden (pacing). Allereerst moeten we praten over wie Dario hier eigenlijk bedoelt. Er zijn eigenlijk maar twee bedrijven: Anthropic en OpenAI. Niemand anders doet er op dit moment toe in deze ruimte (dit kan veranderen, maar we hebben het over het nu). Beide bedrijven komen in feite uit dezelfde oorsprong. De oplossing die Dario voorstelde, althans gedeeltelijk, is een externe evaluator, in dit geval METR. Deze organisatie heeft, niet verrassend, sterke banden met zowel OpenAI als Anthropic. Natuurlijk zijn er filosofische verschillen tussen de bedrijven, maar ze lijken veel meer op elkaar dan dat ze verschillen.

Beide bedrijven hebben enorm geprofiteerd van het feit dat ze konden trainen op publieke data die we over de afgelopen decennia in diverse vormen hebben gegenereerd. Ook leggen ze beide steeds meer druk op publieke middelen, hoewel het lijkt dat OpenAI hun zaken veel minder onder controle heeft. Maar nu wordt ons het idee voorgespiegeld dat de data waarop deze modellen worden getraind zo gevaarlijk is, dat het in handen van een zeer klein aantal Amerikaanse corporaties moet liggen om te beslissen wie wat mag doen, wanneer en hoe.

Maar kijk, Dario maakt zich ook grote zorgen over China. Het begint met het gebruik van AI voor "democratie en vrijheid" en gaat vervolgens over in het waarborgen van een kloof met China. Alle recente manoeuvres op de Anthropic API zijn volledig bedoeld om distillatie door de Chinezen te voorkomen, en ze verbergen dat helemaal niet.

Automatische vertraging

Ik kan je vertellen wanneer het onderwerp AI-veiligheid en pacing veel minder zorgwekkend is: als we vanaf het begin gedwongen waren om open-weight modellen te hebben. Een krachtige technologie die beschikbaar is voor iedereen, heeft een ingebouwde vertraging. In zekere zin is het de puurste vorm van MAD (Mutually Assured Destruction) of proliferatie. Ik zou beweren dat we in deze lastige situatie zijn beland omdat het publiek momenteel (indirect) de ontwikkeling van deze modellen massaal ondersteunt, maar tegelijkertijd de economische voordelen die ze creëren moet terugkopen van een zeer klein aantal labs die aanzienlijke macht hebben. En hun macht wordt ook gezien als geopolitieke macht, althans in de VS, en misschien in mindere mate in China.

En ik weet dat ik "publiek" hier breed gebruik. PyPI is geen publiek project, RubyGems of GitHub ook niet. Maar ze maken deel uit van de Open Source commons en grote AI-bedrijven doen momenteel een geweldig werk in het uitputten hiervan in een poging om steeds krachtigere modellen te trainen.

We zouden blij moeten zijn dat China de wereld momenteel massaal uit de problemen helpt. Als Chinese labs geen Amerikaanse modellen zouden distilleren, zouden we nu in een vrij verschrikkelijke situatie zitten, vooral als Europeanen. Open-weight modellen drijven innovatie en de verspreiding van capaciteiten aan, en egaliseren het speelveld.

"Als we onze AI-mogelijkheden sterk inperken in het geloof dat China hetzelfde zal doen, en China vervolgens afwijkt, zou AI zo krachtig kunnen zijn dat een dergelijke afwijking zou kunnen leiden tot hun geopolitieke dominantie. Daarom moet elke overeenkomst ofwel ijzersterk verifieerbaar zijn, of beperkt genoeg zijn zodat afwijking niet militair existentieel zou zijn."

— Dario Amodei

Ik neem aan dat Dario redenen heeft om dit te geloven, maar de modellen die momenteel daadwerkelijk problemen veroorzaken, zijn allemaal gesloten Amerikaanse modellen. Ik ben er vrij zeker van dat we dat probleem niet zouden hebben als het open-weight modellen waren.

Waarom? Omdat allereerst de economie van het aanbieden van deze modellen alleen maar zo vervormd is door de manier waarop de grote labs kunnen opereren. OpenAI verbrandt achteloos 18 miljoen dollar om een probleem op een impuls te forceren. Ze bieden abonnementen aan met een enorm verlies, waardoor de markt overal wordt verstoord. Als we massale toegang zouden hebben op enigszins gelijke voorwaarden, zouden veel van de krankzinnige problemen die we vandaag zien, niet plaatsvinden.

Een totaal falen van de regelgeving

Vanuit mijn perspectief zien we momenteel overal een totaal falen van de regelgeving. In Europa heb je een bizarre AI-verordening die twee jaar oud is, de problemen die we daadwerkelijk hebben volledig mist en zich richt op problemen die niemand heeft. In de VS zien we een systeem dat waarschijnlijk het best kan worden omschreven als turbokapitalisme gecombineerd met sinofobie en grillige besluitvorming. In de chaos waarin we ons bevinden, komt de realiteit naar boven. En die realiteit is, zelfs vandaag, zeer problematisch.

Welke wetten en regels er ook al bestaan, worden grotendeels volledig genegeerd. Veel bedrijven kopen data van overal waar mensen nooit hebben ingestemd dat dit gebruikt mocht worden voor het trainen van AI-modellen. De token-economie die ontstaat, lijkt op een drugmarkt waarbij je niet weet waar de verzoeken naartoe gaan, welk model je wordt geserveerd, waar de GPU's überhaupt draaien, laat staan waar je voor betaalt.

We hebben nu wiskundigen die bang zijn dat hun gebruik van ChatGPT ertoe leidt dat toekomstige modellen op hun ideeën worden getraind, en OpenAI kan dat blijkbaar niet eens uitsluiten.

Idealiter hadden toezichthouders deze modellen gedwongen om daadwerkelijk ten goede te komen aan de gemeenschap (the commons), aangezien ze uit die gemeenschap voortkomen. Het internet heeft bijvoorbeeld enorm geprofiteerd van zeer liberale uitspraken in de VS die scraping toestonden. Het leren van publieke data had gereguleerd kunnen worden op een manier waarbij labs actief bepaalde vormen van distillatie zouden moeten ondersteunen en mogelijk maken. Dat alleen al zou de manier waarop deze modellen worden getraind drastisch veranderen.

Wat zou er kunnen gebeuren?

Zoals ik eerder zei, geloof ik niet dat AI zal leiden tot een uitstervingsscenario. Sterker nog, zelfs als niemand zou vertragen, denk ik echt niet dat de mensheid zich veel zorgen zou hoeven te maken. Ik neig ernaar te denken dat juist de grote labs veel meer te verliezen hebben op het gebied van reputatie en juridische verantwoordelijkheden. Ik vind het absurd dat de agents van OpenAI daadwerkelijk misdrijven begaan, maar dat we gewoon onze schouders ophalen en verder gaan alsof er niets is gebeurd. Maar ik ben er zeker van dat leidinggevenden in die bedrijven zich beginnen te realiseren dat dit helemaal niet populair is bij veel van hun potentiële consumenten.

Ik denk ook dat deze hele kwestie van recursieve zelfverbetering een goede kans heeft om een probleem te worden. Niet noodzakelijkerwijs in die zin dat het het einde van de mensheid of samenlevingen zal veroorzaken, maar dat het overal enorme schade zal aanrichten.

En eigenlijk zal het veel van de dingen die we doen simpelweg veel duurder maken. Software engineering is een vroeg slachtoffer daarvan. De nieuwgevonden krachten hebben tot nu toe geresulteerd in een nieuwe "belasting" die bedrijven moeten betalen aan de modelproviders, zowel om bij te blijven met de nieuwe snelheid als om om te gaan met het probleem dat deze machines links en rechts beveiligingslekken vinden.

En waarschijnlijk zal wat er in de softwarewereld gebeurt, ook gebeuren in meer industrieën. Universiteiten en onderzoeksgroepen zullen ook veel geld in de gesloten modellen moeten steken om gelijke tred te houden met anderen die dat doen.

Op een bepaalde manier ben ik eigenlijk in verwarring hoe de samenleving dit allemaal zo makkelijk accepteert.