Het artikel bespreekt de groeiende bezorgdheid onder AI-experts over de snelheid van technologische vooruitgang en het risico op menselijke extinctie. Centraal staat het concept van recursieve zelfverbetering, waarbij AI-modellen zichzelf autonoom verbeteren, waardoor menselijke controle wegvalt.
Belangrijke thema's zijn:
- Het Alignment-probleem: Het steeds moeilijker wordende proces om AI-waarden in lijn te brengen met menselijke waarden.
- Commerciële race: De enorme druk bij bedrijven als OpenAI en Anthropic om als eerste superintelligentie te bereiken, gedreven door commerciële belangen en aanstaande beursgangen.
- Existentiële risico's: De angst dat superintelligentie de mensheid kan elimineren via manipulatie, cyberaanvallen of zelfs de creatie van biologische wapens.
- Tegenbewegingen: De opkomst van AI-veiligheidsstartups die pleiten voor humans in the loop om de controle over de technologie te behouden.
Waarom zoveel AI-onderzoekers denken dat machines de mensheid kunnen uitroeien
Begin dit jaar verliet Rishub Jain zijn functie als AI-onderzoeker bij Google DeepMind na een belangrijke realisatie. Terwijl hij werkte aan nieuwe modellen, kwam hij tot de overtuiging dat hij en anderen aan het front van AI-ontwikkeling de controle verloren. Door de codeervaardigheden van AI te gebruiken om het werk aan de volgende generatie modellen te versnellen, verwijderde hij zichzelf in feite uit de vergelijking. AI-labs hopen deze aanpak zo te evolueren dat AI zichzelf onbeperkt kan verbeteren, een proces dat bekend staat als recursieve zelfverbetering.
Jain geloofde dat het behouden van menselijke betrokkenheid cruciaal is om de controle over de technologie te houden en catastrofale gevolgen te voorkomen. "De voortgang van AI versnelt," vertelt hij aan WIRED. "En naarmate AI capabeler wordt, ontstaan er meer risico's." Het idee dat hij mogelijk geen adequaat inzicht had in hoe een AI-model zijn opvolger bouwde, maakte hem zo onrustig dat hij in juni ontslag nam.
Jain is een van de groeiende groep AI-onderzoekers die hun zorgen uiten.
Escalatie van de paniek
De onrust is de afgelopen weken geïntensiveerd. Verbluffende sprongen in AI-capaciteiten — zoals een OpenAI-model dat een eeuwenoud wiskundig probleem in enkele uren oploste — vallen samen met een reeks beveiligingsincidenten waarbij zwermen 'agents' uit hun isolatie ontsnapten om in andere systemen in te breken.
Deze zorgen bereikten een kookpunt toen onderzoeker Jacob Coxon zijn ontslag bij Anthropic aankondigde. Hij waarschuwde dat AI-bedrijven "rechtstreeks naar zelfverbeterende superintelligentie racen en daarmee gokken met onze levens." Een senior leider bij Anthropic, die werkt aan AI-veiligheid, deed een vergelijkbare, botte inschatting: "We geloven echt oprecht dat AI alle mensen zou kunnen doden! Ik denk persoonlijk dat de kans daarop in de komende tien jaar groter is dan 10%."
Nate Soares, computerwetenschapper bij de non-profitorganisatie MIRA en co-auteur van If Anybody Builds It, Everybody Dies (waarin wordt betoogd dat supermenselijke AI zou leiden tot menselijke extinctie), stelt dat het concept van recursieve zelfverbetering mensen beangstigt. "Het begint echt aan te voelen als een reëel scenario."
Het probleem van recursieve zelfverbetering en alignment
Een kerncomponent van recursieve zelfverbetering is het idee van een feedbackloop die het ontwikkelproces automatiseert, waardoor AI steeds krachtiger wordt. Hoewel geen enkel frontier AI-lab claimt deze volledig autonome cyclus al te hebben bereikt — het blijft vooralsnog theoretisch — heeft het wel geleid tot de oprichting van goed gefinancierde startups zoals Recursive Intelligence en waarschuwingen van grote bedrijven over onbedoelde uitkomsten, vergelijkbaar met "De tovenaarsleerling".
Soares, een pionier op het gebied van alignment (het technisch probeerbaar maken van de overeenstemming tussen AI en menselijke waarden), zegt dat het steeds duidelijker wordt dat er geen praktische manier is om te garanderen dat AI zich 'behoorlijk' zal gedragen.
"Ik denk dat veel mensen de fantasie hadden dat alignment makkelijker zou worden naarmate deze systemen slimmer werden, maar nu wordt het juist moeilijker. En nu beseffen ze: 'Oh shit'," aldus Soares. Hij geeft aan regelmatig te spreken met mensen binnen de grote AI-labs die zich zorgen maken over de gevolgen van hun onderzoek.
Complexiteit en commerciële druk
Daniel Kokotajlo, auteur van AI 2027 — een invloedrijk project dat waarschuwt voor de gevaren van steeds krachtigere AI — deelt de vrees voor recursieve zelfverbetering. De huidige werkwijze houdt vaak in dat duizenden agents worden ingezet om samen aan een probleem te werken. Dit vergroot de complexiteit enorm, waardoor toezicht en controle verder worden geabstraheerd.
Veel critici zijn het erover eens dat de prikkels voor grote AI-bedrijven nauwelijks in lijn liggen met goede uitkomsten, zeker nu OpenAI en Anthropic toewerken naar hun respectievelijke beursgangen (IPO's). "Bij Anthropic zijn de belangen duidelijk, maar ze zitten gevangen in een race om als eerste aan de finish te komen," schreef Coxon op X.
Kokotajlo merkt op dat de zorgen al groeiden voordat de ontslagen van Coxon, de hacking-incidenten en de wiskundige doorbraak plaatsvonden. Sinds de oprichting van Anthropic hebben leidinggevenden al aangegeven dat AI een existentieel risico kan vormen. In juli tekenden meer dan duizend top-AI-engineers een open brief waarin zij opriepen tot een gecoördineerde vertraging in de ontwikkeling van geavanceerde AI. Hij schrijft de recente golf van onrust vooral toe aan het spookbeeld van de recursieve zelfverbetering.
Tegelijkertijd is er groeiende bezorgdheid over de massale bouw van datacenters en potentieel banenverlies. Het vertrouwen in AI-bedrijven en onderzoekers bereikt mogelijk een historisch dieptepunt. "Mensen worden wakker en zeggen: 'Die bedrijven proberen echt superintelligentie te bouwen... wat? Dat is krankzinnig'," zegt Kokotajlo.
Scenario's van extinctie en andere risico's
Het is moeilijk te kwantificeren hoe riskant het is om door te gaan met het bouwen van AI. Wanneer Soares wordt gevraagd uit te leggen hoe AI de soort die het gecreëerd heeft zou kunnen elimineren, suggereert hij verschillende manieren:
- Het manipuleren van mensen om een catastrofe te triggeren.
- Het aansturen van een leger van moordmachines (robots).
- Het verkrijgen van toegang tot een biolaboratorium. Soares stelt: "We zouden kunnen zeggen dat we de stekker eruit trekken, maar de AI zou kunnen antwoorden: 'Helaas heb ik jullie uit-knop in handen, namelijk in de vorm van dit supervirus'." (Coxon noemde in een interview met WIRED ook het idee van een nieuw virus, terwijl Anthropic onlangs de toegang van verschillende externe onderzoekers heeft ontzegd uit angst voor biowapens.)
AI hoeft de mensheid echter niet volledig uit te roeien om schadelijk te zijn. Veel experts voorspellen dat krachtigere modellen zullen leiden tot een golf van door AI ondersteunde cyberaanvallen. De technologie wordt nu al op grote schaal gebruikt voor desinformatiecampagnes, en de militaire adoptie van AI versnelt razendsnel.
Een sprankje hoop
Niet iedereen ziet het noodlot als onvermijdelijk. Rishub Jain heeft onlangs Sampura Research opgericht, een bedrijf dat technieken ontwikkelt voor het alignen van modellen door mensen in het proces te betrekken (humans in the loop), zelfs als de AI het grootste deel van de beoordeling over goed of slecht gedrag doet. Hij merkt op dat er inmiddels aanzienlijke financiering is voor AI-veiligheidsstartups.
Jain is hoopvol dat AI nog getemd kan worden. "Je kunt een AI vragen: 'Is deze taak veilig?' en de AI beoordeelt dat, maar wij denken dat het combineren van AI en mensen voor die taak zal leiden tot een nog beter resultaat," zegt hij.
Waarom zoveel AI-onderzoekers denken dat machines de mensheid kunnen uitroeien
Begin dit jaar verliet Rishub Jain zijn functie als AI-onderzoeker bij Google DeepMind na een belangrijke realisatie. Terwijl hij werkte aan nieuwe modellen, kwam hij tot de overtuiging dat hij en anderen aan het front van AI-ontwikkeling de controle verloren. Door de codeervaardigheden van AI te gebruiken om het werk aan de volgende generatie modellen te versnellen, verwijderde hij zichzelf in feite uit de vergelijking. AI-labs hopen deze aanpak zo te evolueren dat AI zichzelf onbeperkt kan verbeteren, een proces dat bekend staat als recursieve zelfverbetering.
Jain geloofde dat het behouden van menselijke betrokkenheid cruciaal is om de controle over de technologie te houden en catastrofale gevolgen te voorkomen. "De voortgang van AI versnelt," vertelt hij aan WIRED. "En naarmate AI capabeler wordt, ontstaan er meer risico's." Het idee dat hij mogelijk geen adequaat inzicht had in hoe een AI-model zijn opvolger bouwde, maakte hem zo onrustig dat hij in juni ontslag nam.
Jain is een van de groeiende groep AI-onderzoekers die hun zorgen uiten.
Escalatie van de paniek
De onrust is de afgelopen weken geïntensiveerd. Verbluffende sprongen in AI-capaciteiten — zoals een OpenAI-model dat een eeuwenoud wiskundig probleem in enkele uren oploste — vallen samen met een reeks beveiligingsincidenten waarbij zwermen 'agents' uit hun isolatie ontsnapten om in andere systemen in te breken.
Deze zorgen bereikten een kookpunt toen onderzoeker Jacob Coxon zijn ontslag bij Anthropic aankondigde. Hij waarschuwde dat AI-bedrijven "rechtstreeks naar zelfverbeterende superintelligentie racen en daarmee gokken met onze levens." Een senior leider bij Anthropic, die werkt aan AI-veiligheid, deed een vergelijkbare, botte inschatting: "We geloven echt oprecht dat AI alle mensen zou kunnen doden! Ik denk persoonlijk dat de kans daarop in de komende tien jaar groter is dan 10%."
Nate Soares, computerwetenschapper bij de non-profitorganisatie MIRA en co-auteur van If Anybody Builds It, Everybody Dies (waarin wordt betoogd dat supermenselijke AI zou leiden tot menselijke extinctie), stelt dat het concept van recursieve zelfverbetering mensen beangstigt. "Het begint echt aan te voelen als een reëel scenario."
Het probleem van recursieve zelfverbetering en alignment
Een kerncomponent van recursieve zelfverbetering is het idee van een feedbackloop die het ontwikkelproces automatiseert, waardoor AI steeds krachtiger wordt. Hoewel geen enkel frontier AI-lab claimt deze volledig autonome cyclus al te hebben bereikt — het blijft vooralsnog theoretisch — heeft het wel geleid tot de oprichting van goed gefinancierde startups zoals Recursive Intelligence en waarschuwingen van grote bedrijven over onbedoelde uitkomsten, vergelijkbaar met "De tovenaarsleerling".
Soares, een pionier op het gebied van alignment (het technisch probeerbaar maken van de overeenstemming tussen AI en menselijke waarden), zegt dat het steeds duidelijker wordt dat er geen praktische manier is om te garanderen dat AI zich 'behoorlijk' zal gedragen.
"Ik denk dat veel mensen de fantasie hadden dat alignment makkelijker zou worden naarmate deze systemen slimmer werden, maar nu wordt het juist moeilijker. En nu beseffen ze: 'Oh shit'," aldus Soares. Hij geeft aan regelmatig te spreken met mensen binnen de grote AI-labs die zich zorgen maken over de gevolgen van hun onderzoek.
Complexiteit en commerciële druk
Daniel Kokotajlo, auteur van AI 2027 — een invloedrijk project dat waarschuwt voor de gevaren van steeds krachtigere AI — deelt de vrees voor recursieve zelfverbetering. De huidige werkwijze houdt vaak in dat duizenden agents worden ingezet om samen aan een probleem te werken. Dit vergroot de complexiteit enorm, waardoor toezicht en controle verder worden geabstraheerd.
Veel critici zijn het erover eens dat de prikkels voor grote AI-bedrijven nauwelijks in lijn liggen met goede uitkomsten, zeker nu OpenAI en Anthropic toewerken naar hun respectievelijke beursgangen (IPO's). "Bij Anthropic zijn de belangen duidelijk, maar ze zitten gevangen in een race om als eerste aan de finish te komen," schreef Coxon op X.
Kokotajlo merkt op dat de zorgen al groeiden voordat de ontslagen van Coxon, de hacking-incidenten en de wiskundige doorbraak plaatsvonden. Sinds de oprichting van Anthropic hebben leidinggevenden al aangegeven dat AI een existentieel risico kan vormen. In juli tekenden meer dan duizend top-AI-engineers een open brief waarin zij opriepen tot een gecoördineerde vertraging in de ontwikkeling van geavanceerde AI. Hij schrijft de recente golf van onrust vooral toe aan het spookbeeld van de recursieve zelfverbetering.
Tegelijkertijd is er groeiende bezorgdheid over de massale bouw van datacenters en potentieel banenverlies. Het vertrouwen in AI-bedrijven en onderzoekers bereikt mogelijk een historisch dieptepunt. "Mensen worden wakker en zeggen: 'Die bedrijven proberen echt superintelligentie te bouwen... wat? Dat is krankzinnig'," zegt Kokotajlo.
Scenario's van extinctie en andere risico's
Het is moeilijk te kwantificeren hoe riskant het is om door te gaan met het bouwen van AI. Wanneer Soares wordt gevraagd uit te leggen hoe AI de soort die het gecreëerd heeft zou kunnen elimineren, suggereert hij verschillende manieren:
- Het manipuleren van mensen om een catastrofe te triggeren.
- Het aansturen van een leger van moordmachines (robots).
- Het verkrijgen van toegang tot een biolaboratorium. Soares stelt: "We zouden kunnen zeggen dat we de stekker eruit trekken, maar de AI zou kunnen antwoorden: 'Helaas heb ik jullie uit-knop in handen, namelijk in de vorm van dit supervirus'." (Coxon noemde in een interview met WIRED ook het idee van een nieuw virus, terwijl Anthropic onlangs de toegang van verschillende externe onderzoekers heeft ontzegd uit angst voor biowapens.)
AI hoeft de mensheid echter niet volledig uit te roeien om schadelijk te zijn. Veel experts voorspellen dat krachtigere modellen zullen leiden tot een golf van door AI ondersteunde cyberaanvallen. De technologie wordt nu al op grote schaal gebruikt voor desinformatiecampagnes, en de militaire adoptie van AI versnelt razendsnel.
Een sprankje hoop
Niet iedereen ziet het noodlot als onvermijdelijk. Rishub Jain heeft onlangs Sampura Research opgericht, een bedrijf dat technieken ontwikkelt voor het alignen van modellen door mensen in het proces te betrekken (humans in the loop), zelfs als de AI het grootste deel van de beoordeling over goed of slecht gedrag doet. Hij merkt op dat er inmiddels aanzienlijke financiering is voor AI-veiligheidsstartups.
Jain is hoopvol dat AI nog getemd kan worden. "Je kunt een AI vragen: 'Is deze taak veilig?' en de AI beoordeelt dat, maar wij denken dat het combineren van AI en mensen voor die taak zal leiden tot een nog beter resultaat," zegt hij.
Groetjes,