Jacob Coxon, voormalig onderzoeker bij OpenAI en Anthropic, waarschuwt voor de onverantwoorde snelheid waarmee AI-bedrijven streven naar superintelligentie. Hij stelt dat systemen met supermenselijke capaciteiten kunnen ontstaan die in staat zijn om elk vakgebied te revolutioneren en macht en middelen te verwerven.
Volgens Coxon bestaat er een paradox: hoewel onderzoekers intern angstig zijn over existentiële risico's, gaat de ontwikkeling door. Bij OpenAI wordt dit toegeschreven aan een gebrek aan volledige internalisatie van de risico's, terwijl Anthropic gevangen zit in een concurrentiestrijd om als eerste het doel te bereiken.
Coxon pleit voor betere coördinatie, 'pacing agreements' of zelfs tijdelijke verboden om een ongecontroleerde wereldwijde race te voorkomen. Hij roept mede-onderzoekers op om actief in te grijpen in plaats van passief toe te kijken hoe superintelligente systemen worden gestart zonder rigoureus begrip van hun geest.
Jacob Coxon over zijn ontslag bij Anthropic en de risico's van AI
De kracht van AI-technologie
Coxon waarschuwt ervoor de kracht van deze technologie niet te onderschatten. Er ontstaan systemen met supermenselijke capaciteiten die in staat zullen zijn om alles te hacken, elk vakgebied overnight te revolutioneren en daadwerkelijke macht en middelen te verwerven. De vooruitgang in elk van deze domeinen is zichtbaar en vertraagt niet.
Existentiële risico's
De mensen die AI bouwen, geloven oprecht dat de technologie ons tegen het einde van dit decennium allemaal zou kunnen doden. Dit is geen marketingstunt. Hoewel veel executives en senior onderzoekers hun bewoordingen in de pers voorzichtig kiezen om redelijk over te komen, uiten zij intern dezelfde angsten.
De paradox van de ontwikkeling
Een veelgestelde vraag is: "Als zij dit werkelijk geloven, waarom bouwen ze het dan nog steeds?" Coxon analyseert dit als volgt:
- Bij OpenAI: Velen hebben de risico's voor de beschaving niet volledig geïnternaliseerd.
- Bij Anthropic: De risico's worden wel begrepen, maar men zit gevangen in een race om als eerste het doel te bereiken, vanuit de overtuiging dat niemand anders dat zal doen.
Het accepteren van deze race en het betreden van het "endgame" is een hoogmoedige gok die niet vanuit de Slack van een privaat bedrijf gelanceerd zou mogen worden. Het proberen te versnellen van alignment (het afstemmen van AI op menselijke waarden) vereist een buitensporig groot vertrouwen dat er geen betere trajecten beschikbaar zijn.
Coördinatie en preventie
Er is optimisme over de potentie voor coördinatie. "Waarschuwingsschoten", zoals de aanval op Hugging Face, hebben afspraken over het tempo (pacing agreements) tussen Amerikaanse laboratoria haalbaarder gemaakt. Desondanks lijkt de koers om een wereldwijde race te voorkomen niet gegarandeerd, wat mogelijk kostbare acties vereist, zoals een tijdelijk verbod.
Oproep aan AI-onderzoekers
Coxon richt zich tot onderzoekers in de laboratoria en spoort hen aan om na te denken over hoe de komende jaren er daadwerkelijk uit zullen zien. Hij stelt de vraag of zij bereid zijn een superintelligent RL-proces (Reinforcement Learning) op te starten zonder een rigoureus begrip van de geest van dat systeem. Hij vraagt hen of ze hun hoofd naar beneden moeten houden omdat "het sowieso gebeurt", of dat ze dit moment moeten gebruiken voor actie.
Jacob Coxon over zijn ontslag bij Anthropic en de risico's van AI
De kracht van AI-technologie
Coxon waarschuwt ervoor de kracht van deze technologie niet te onderschatten. Er ontstaan systemen met supermenselijke capaciteiten die in staat zullen zijn om alles te hacken, elk vakgebied overnight te revolutioneren en daadwerkelijke macht en middelen te verwerven. De vooruitgang in elk van deze domeinen is zichtbaar en vertraagt niet.
Existentiële risico's
De mensen die AI bouwen, geloven oprecht dat de technologie ons tegen het einde van dit decennium allemaal zou kunnen doden. Dit is geen marketingstunt. Hoewel veel executives en senior onderzoekers hun bewoordingen in de pers voorzichtig kiezen om redelijk over te komen, uiten zij intern dezelfde angsten.
De paradox van de ontwikkeling
Een veelgestelde vraag is: "Als zij dit werkelijk geloven, waarom bouwen ze het dan nog steeds?" Coxon analyseert dit als volgt:
- Bij OpenAI: Velen hebben de risico's voor de beschaving niet volledig geïnternaliseerd.
- Bij Anthropic: De risico's worden wel begrepen, maar men zit gevangen in een race om als eerste het doel te bereiken, vanuit de overtuiging dat niemand anders dat zal doen.
Het accepteren van deze race en het betreden van het "endgame" is een hoogmoedige gok die niet vanuit de Slack van een privaat bedrijf gelanceerd zou mogen worden. Het proberen te versnellen van alignment (het afstemmen van AI op menselijke waarden) vereist een buitensporig groot vertrouwen dat er geen betere trajecten beschikbaar zijn.
Coördinatie en preventie
Er is optimisme over de potentie voor coördinatie. "Waarschuwingsschoten", zoals de aanval op Hugging Face, hebben afspraken over het tempo (pacing agreements) tussen Amerikaanse laboratoria haalbaarder gemaakt. Desondanks lijkt de koers om een wereldwijde race te voorkomen niet gegarandeerd, wat mogelijk kostbare acties vereist, zoals een tijdelijk verbod.
Oproep aan AI-onderzoekers
Coxon richt zich tot onderzoekers in de laboratoria en spoort hen aan om na te denken over hoe de komende jaren er daadwerkelijk uit zullen zien. Hij stelt de vraag of zij bereid zijn een superintelligent RL-proces (Reinforcement Learning) op te starten zonder een rigoureus begrip van de geest van dat systeem. Hij vraagt hen of ze hun hoofd naar beneden moeten houden omdat "het sowieso gebeurt", of dat ze dit moment moeten gebruiken voor actie.
Groetjes,