De auteurs hebben de RSI Simulator ontwikkeld, een webgame die de economische dynamiek van AI-onderzoek en -ontwikkeling (R&D) visualiseert. Het spel is gebaseerd op economische modellen over recursieve zelfverbetering, waarbij gebruikers investeren in arbeid, rekenkracht (compute) en data om een kunstmatige superintelligentie te bouwen.
De belangrijkste inzichten uit dit project zijn:
- Dominante bottlenecks: Vooruitgang wordt niet alleen bepaald door intelligentie; tekorten aan compute of data kunnen de versnelling belemmeren, zelfs als AI-onderzoekers superieur worden aan mensen.
- Schoksgewijze groei: Recursieve zelfverbetering verloopt mogelijk in schokken en kan stoppen voordat fysieke limieten zijn bereikt als rekenkracht een bottleneck blijft.
- Smalle intelligentie-explosies: Er kan eerst sprake zijn van een specifieke explosie in AI-optimalisatiecapaciteiten die niet direct generaliseert naar andere domeinen.
- Parameterafhankelijkheid: Voorspellingen over de snelheid van AI-vooruitgang zijn sterk afhankelijk van 'elasticiteiten' (hoe output reageert op input).
Het doel van de simulator en de bijbehorende explorer is om deze complexe theoretische modellen intuïtiever en toegankelijker te maken voor het begrijpen van het traject naar AI-superintelligentie.
RSI Simulator
We hebben een webgame gemaakt om de economische aspecten van AI-onderzoek en -ontwikkeling (R&D) te demonstreren. In het spel kruip je in de huid van een AI-lab dat probeert een kunstmatige superintelligentie vanaf nul op te bouwen door arbeid, rekenkracht (compute) en data te investeren in R&D, totdat zelfonderhoudende versnelling wordt bereikt.
Het spel is geïnspireerd op een recent artikel, The Economics of Recursive Self-Improvement, evenals andere fundamentele onderzoekspapers uit de economie en informatica.
De game is gebaseerd op de feitelijke economische modellen uit die papers, maar is niet bedoeld als een realistische voorspelling. De modellen zijn sterk afhankelijk van hun parameterisatie; in het spel zijn de parameters gekalibreerd voor educatieve doeleinden in plaats van voorspellende nauwkeurigheid. Om inzicht te krijgen in hoe het toekomstige verloop kan afhangen van enkele van de relevante parameters, hebben we een explorer gemaakt om dieper in de onderliggende modellen te duiken.
AI-ontwikkeling is complex, beweegt snel en is moeilijk te voorspellen, maar het heeft zich met verrassende trouw gehouden aan bepaalde statistische wetten (met name de scaling laws die de training van modellen bepalen). We zijn enthousiast over het potentieel van games en simulators om ons te helpen nieuwe, nuttige modellen te vinden en te begrijpen voor het traject van AI-onderzoek.
Achtergrond
Het begrijpen van het traject van AI-mogelijkheden is een van de belangrijkste vragen voor het voorspellen van de toekomst. In het bijzonder kan het begrijpen van hoe AI zelf het AI-onderzoek versnelt — vaak aangeduid als recursieve zelfverbetering — het meest cruciale onderdeel zijn, omdat dit kan leiden tot scherpe buigpunten in de snelheid van verbetering.
Wij zijn geïnteresseerd in manieren om recursieve zelfverbetering te kwantificeren en het traject ervan te voorspellen. We zijn met name enthousiast over het paper Economics of Recursive Self-Improvement, afkomstig van een onlangs gevormde groep economen (waaronder Tom Cunningham van METR) genaamd het Elasticity Institute. Vanwege hun aanpak hebben we de game en de explorer ontwikkeld om het model en enkele implicaties ervan intuïtiever te begrijpen.
De explorer biedt een interface voor het visualiseren van en interageren met alle modellen in het paper. De game put uit ideeën uit dit paper om een dynamisch model te creëren dat ook concepten integreert van compute-optimal training, R&D-gebaseerde groeimodellen, schaalafhankelijke algoritmische vooruitgang en zwakke schakels in automatisering (weak-links in automation).
Belangrijkste inzichten
De game en explorer zijn hulpmiddelen die kunnen helpen bij het begrijpen van de inputs en beperkingen van recursieve zelfverbetering. Hieronder delen we enkele inzichten die voortvloeien uit dit werk en de ontwikkeling van deze tools:
- Zwakke schakels domineren. AI-onderzoek maakt gebruik van complementaire inputs: menselijke onderzoekers, rekenkracht (compute) en data. Zelfs als intelligentie overvloedig aanwezig is, kunnen andere factoren de vooruitgang nog steeds belemmeren. Recursieve zelfverbetering kan worden beperkt door rekenkracht of data. Dit zou met name het geval kunnen zijn als algoritmische vooruitgang afhankelijk blijft van toenemende schaal, zoals waargenomen in Gundlach et al. (2025) (een ander model dat in de game is verwerkt). Zelfs als er een AI gebouwd kan worden die beter is dan elke menselijke AI-onderzoeker, zou deze nog steeds beperkt worden door de toegang tot rekenkracht voor experimenten en training, evenals door data (althans zolang het huidige paradigma standhoudt).
- Recursieve zelfverbetering kan in schokken verlopen. Het is mogelijk dat AI een periode van zelfonderhoudende versnelling ervaart, om vervolgens te stoppen lang voordat de fysieke limieten van intelligentie zijn bereikt. Dit lijkt waarschijnlijk als rekenkracht een bottleneck blijft.
- Er kan eerst sprake zijn van een "smalle" intelligentie-explosie. We zouden recursieve zelfverbetering eerst kunnen bereiken via "smalle" capaciteiten (specifiek voor AI-onderzoek of optimalisatie) die niet volledig generaliseren.
- Voorspellingen zijn afhankelijk van parameterisatie. De output van het economische model hangt af van parameters genaamd elasticiteiten, die aangeven hoeveel een quantity toeneemt als reactie op een toename in een bepaalde input. De kritieke elasticiteit die recursieve zelfverbetering aandrijft, is de elasticiteit van de ontdekkingssnelheid ten opzichte van de huidige modelcapaciteiten. Dit is het product van andere elasticiteiten, is afhankelijk van andere inputs en kan in de loop van de tijd veranderen. Dit maakt het bijhouden van actuele statistieken voor deze waarden essentieel.
Conclusie
De toekomst kan er heel anders uitzien, afhankelijk van hoe de snelheid van AI-vooruitgang verandert. Om beter te kunnen voorspellen waar we naartoe gaan, is het belangrijk om deze vooruitgang te begrijpen.
Vroeg werk heeft economische modellen geleverd voor het meten van recursieve zelfverbetering. Er zijn echter nog veel vragen over het tempo van de vooruitgang die moeilijk te beantwoorden zijn. In deze gevallen kunnen metrieken en modellen belangrijke informatie verschaffen die helpt bij het kalibreren van reacties. We zijn geïnteresseerd in werk dat de grenzen van het modelleren van recursieve zelfverbetering verlegt, en we hopen dat onze game en simulator de dynamiek van recursieve zelfverbetering intuïtiever maken.
Neem contact op via jw@paradigm.xyz en dan@paradigm.xyz als u aan soortgelijke onderwerpen werkt.
Bedankt aan Tom Cunningham, Basil Halperin, Nate Rush, Will Robinson, Kevin Liu, Chris Tonetti, Hart Lambur, transmissions11 en Dave White voor hun feedback.
RSI Simulator
We hebben een webgame gemaakt om de economische aspecten van AI-onderzoek en -ontwikkeling (R&D) te demonstreren. In het spel kruip je in de huid van een AI-lab dat probeert een kunstmatige superintelligentie vanaf nul op te bouwen door arbeid, rekenkracht (compute) en data te investeren in R&D, totdat zelfonderhoudende versnelling wordt bereikt.
Het spel is geïnspireerd op een recent artikel, The Economics of Recursive Self-Improvement, evenals andere fundamentele onderzoekspapers uit de economie en informatica.
De game is gebaseerd op de feitelijke economische modellen uit die papers, maar is niet bedoeld als een realistische voorspelling. De modellen zijn sterk afhankelijk van hun parameterisatie; in het spel zijn de parameters gekalibreerd voor educatieve doeleinden in plaats van voorspellende nauwkeurigheid. Om inzicht te krijgen in hoe het toekomstige verloop kan afhangen van enkele van de relevante parameters, hebben we een explorer gemaakt om dieper in de onderliggende modellen te duiken.
AI-ontwikkeling is complex, beweegt snel en is moeilijk te voorspellen, maar het heeft zich met verrassende trouw gehouden aan bepaalde statistische wetten (met name de scaling laws die de training van modellen bepalen). We zijn enthousiast over het potentieel van games en simulators om ons te helpen nieuwe, nuttige modellen te vinden en te begrijpen voor het traject van AI-onderzoek.
Achtergrond
Het begrijpen van het traject van AI-mogelijkheden is een van de belangrijkste vragen voor het voorspellen van de toekomst. In het bijzonder kan het begrijpen van hoe AI zelf het AI-onderzoek versnelt — vaak aangeduid als recursieve zelfverbetering — het meest cruciale onderdeel zijn, omdat dit kan leiden tot scherpe buigpunten in de snelheid van verbetering.
Wij zijn geïnteresseerd in manieren om recursieve zelfverbetering te kwantificeren en het traject ervan te voorspellen. We zijn met name enthousiast over het paper Economics of Recursive Self-Improvement, afkomstig van een onlangs gevormde groep economen (waaronder Tom Cunningham van METR) genaamd het Elasticity Institute. Vanwege hun aanpak hebben we de game en de explorer ontwikkeld om het model en enkele implicaties ervan intuïtiever te begrijpen.
De explorer biedt een interface voor het visualiseren van en interageren met alle modellen in het paper. De game put uit ideeën uit dit paper om een dynamisch model te creëren dat ook concepten integreert van compute-optimal training, R&D-gebaseerde groeimodellen, schaalafhankelijke algoritmische vooruitgang en zwakke schakels in automatisering (weak-links in automation).
Belangrijkste inzichten
De game en explorer zijn hulpmiddelen die kunnen helpen bij het begrijpen van de inputs en beperkingen van recursieve zelfverbetering. Hieronder delen we enkele inzichten die voortvloeien uit dit werk en de ontwikkeling van deze tools:
- Zwakke schakels domineren. AI-onderzoek maakt gebruik van complementaire inputs: menselijke onderzoekers, rekenkracht (compute) en data. Zelfs als intelligentie overvloedig aanwezig is, kunnen andere factoren de vooruitgang nog steeds belemmeren. Recursieve zelfverbetering kan worden beperkt door rekenkracht of data. Dit zou met name het geval kunnen zijn als algoritmische vooruitgang afhankelijk blijft van toenemende schaal, zoals waargenomen in Gundlach et al. (2025) (een ander model dat in de game is verwerkt). Zelfs als er een AI gebouwd kan worden die beter is dan elke menselijke AI-onderzoeker, zou deze nog steeds beperkt worden door de toegang tot rekenkracht voor experimenten en training, evenals door data (althans zolang het huidige paradigma standhoudt).
- Recursieve zelfverbetering kan in schokken verlopen. Het is mogelijk dat AI een periode van zelfonderhoudende versnelling ervaart, om vervolgens te stoppen lang voordat de fysieke limieten van intelligentie zijn bereikt. Dit lijkt waarschijnlijk als rekenkracht een bottleneck blijft.
- Er kan eerst sprake zijn van een "smalle" intelligentie-explosie. We zouden recursieve zelfverbetering eerst kunnen bereiken via "smalle" capaciteiten (specifiek voor AI-onderzoek of optimalisatie) die niet volledig generaliseren.
- Voorspellingen zijn afhankelijk van parameterisatie. De output van het economische model hangt af van parameters genaamd elasticiteiten, die aangeven hoeveel een quantity toeneemt als reactie op een toename in een bepaalde input. De kritieke elasticiteit die recursieve zelfverbetering aandrijft, is de elasticiteit van de ontdekkingssnelheid ten opzichte van de huidige modelcapaciteiten. Dit is het product van andere elasticiteiten, is afhankelijk van andere inputs en kan in de loop van de tijd veranderen. Dit maakt het bijhouden van actuele statistieken voor deze waarden essentieel.
Conclusie
De toekomst kan er heel anders uitzien, afhankelijk van hoe de snelheid van AI-vooruitgang verandert. Om beter te kunnen voorspellen waar we naartoe gaan, is het belangrijk om deze vooruitgang te begrijpen.
Vroeg werk heeft economische modellen geleverd voor het meten van recursieve zelfverbetering. Er zijn echter nog veel vragen over het tempo van de vooruitgang die moeilijk te beantwoorden zijn. In deze gevallen kunnen metrieken en modellen belangrijke informatie verschaffen die helpt bij het kalibreren van reacties. We zijn geïnteresseerd in werk dat de grenzen van het modelleren van recursieve zelfverbetering verlegt, en we hopen dat onze game en simulator de dynamiek van recursieve zelfverbetering intuïtiever maken.
Neem contact op via jw@paradigm.xyz en dan@paradigm.xyz als u aan soortgelijke onderwerpen werkt.
Bedankt aan Tom Cunningham, Basil Halperin, Nate Rush, Will Robinson, Kevin Liu, Chris Tonetti, Hart Lambur, transmissions11 en Dave White voor hun feedback.
Groetjes,