Onderzoekers, waaronder partners van NVIDIA en Flower Labs, hebben een methode ontwikkeld voor recursief zelfverbeterende AI-agenten genaamd de Red Queen Gödel Machine.
Het centrale probleem bij huidige zelfverbeterende AI is het 'evaluatieplafond': zodra een agent de limieten van een vaste testsuite heeft bereikt, stagneert de groei. De nieuwe methode lost dit op door de AI-agent en de evaluator co-evolueren te laten. Naarmate de agent sterker wordt, wordt de evaluatie automatisch strenger, waardoor de lat voortdurend wordt verhoogd.
Belangrijkste resultaten:
- Significante prestatieverbeteringen bij het schrijven van wetenschappelijke artikelen en wiskundige bewijzen op Olympiade-niveau.
- Een hogere acceptatiegraad van artikelen bij gebruik van een 'agent-as-a-judge' paneel.
- Een aanzienlijke kostenreductie (tot wel 13 keer minder search-tokens) door een hybride aanpak waarbij open-source modellen (zoals NVIDIA Nemotron 3 Ultra) het grove zoekwerk doen en frontier-modellen (zoals ChatGPT) de hoogste kwaliteitscontroles uitvoeren.
De methode zal open source worden gemaakt om verdere adoptie en onderzoek naar schaalbaarheid te stimuleren.
De Red Queen-hypothese: een nieuwe weg voor zelfverbeterende AI
Het onderzoeksteam, waaraan ook partners van NVIDIA en Flower Labs hebben deelgenomen, heeft een nieuwe methode ontwikkeld voor recursief zelfverbeterende AI-agenten. Hiermee kunnen deze agenten zichzelf blijven verbeteren (door herhaaldelijk hun eigen code te testen en te optimaliseren) zonder tegen het 'evaluatieplafond' aan te lopen waar ze frequent tegenaan lopen. Bovendien suggereert hun methode een manier om de kosten van de computationele middelen die nodig zijn voor de ontwikkeling van dergelijke AI-agenten te verlagen.
Hoewel agenten zichzelf al kunnen verbeteren door hun eigen code te bewerken, varianten te testen en wijzigingen te behouden die beter presteren, wordt dit proces meestal beperkt door een vaste evaluator, benchmark of testsuite. Zodra de agent alles heeft geleerd wat dat vaste signaal kan onderscheiden, vertraagt of stagneert de verbetering.
"Een zelfverbeterende agent kan slechts zo goed worden als de test die hem scoort," legt teamlid Alex Iacob uit, PhD-student in het Machine Learning Systems Lab onder supervisie van prof. Nic Lane. "De test meet niet alleen de progressie, hij definieert deze. De effectiviteit van de test wordt dus een plafond waar de agent niet voorbij kan klimmen."
De onderzoekers hebben dit probleem aangepakt door zowel de zelfverbeterende agent als de evaluator samen te laten evolueren. "In plaats van een agent te verbeteren tegenover een vaste test, laten we de evaluatie mee-evolueren met de agent," voegt Alex toe. "Naarmate de agent beter wordt, wordt de evaluatie ook moeilijker, waardoor de lat steeds hoger komt te liggen."
De Red Queen Gödel Machine
Alex is de eerste auteur van het preprint-artikel dat het onderzoeksteam onlangs op arXiv heeft geüpload. The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators beschrijft de technische details van hun werk, samen met indrukwekkende resultaten bij het gebruik van dit raamwerk voor een aantal taken.
Figuur: Agenten en evaluatoren die samen verbeteren De Red Queen Gödel Machine zoekt door veel mogelijke versies van een AI-agent, terwijl hij tegelijkertijd de evaluator verbetert die deze agenten beoordeelt. Tijdens elke fase blijft de evaluator vaststaan, zodat de progressie betrouwbaar gemeten kan worden. Bij controlepunten kan een sterkere evaluator de oude vervangen als deze beter presteert op betrouwbare ground-truth voorbeelden. Scores van de oude evaluator worden vervolgens verwijderd, zodat de volgende fase wordt geleid door de nieuwe, strengere standaard. Dit creëert een zelfverbeterende lus waarin agenten en evaluatoren samen verbeteren, terwijl het systeem verankerd blijft aan betrouwbare controles.
Zowel bij het schrijven en reviewen van wetenschappelijke artikelen als bij het schrijven en beoordelen van bewijzen op het niveau van de (Wiskunde) Olympiade, verbeterde de Red Queen Gödel Machine de prestaties ten opzichte van eerdere zelfverbeterende AI-agenten.
"Co-evoluerende schrijvers van wetenschappelijke artikelen bereiken 1,78×–1,86× hogere acceptatiepercentages onder een divers panel van 'agent-as-a-judge'," rapporteren de onderzoekers in het artikel, "terwijl co-evoluerende beoordelaars een 9% hogere ground-truth nauwkeurigheid bereiken."
De Red Queen-hypothese
De opmerkelijke titel van het raamwerk verwijst naar de Red Queen (de Rode Koningin) – een fictief personage in het kinderboek Through the Looking-Glass van Lewis Carroll. Zij vertelt Alice, de hoofdrolspeler van de roman, dat "je hardst moet rennen om op dezelfde plek te blijven". De Red Queen-hypothese, een hypothese uit de evolutionaire biologie uit 1973, is naar dit personage vernoemd. De hypothese stelt dat soorten zich constant moeten aanpassen, evolueren en vermenigvuldigen om te overleven, terwijl ze worden geconfronteerd met andere soorten die ook voortdurend evolueren.
Deze hypothese is nu toegepast op AI.
"In plaats van een agent te verbeteren tegenover een vaste test, laten we de evaluatie mee-evolueren met de agent. Naarmate de agent beter wordt, wordt de evaluatie ook moeilijker, en de lat blijft stijgen."
— Alex Iacob, PhD-student
Het werk is uitgevoerd door een team van onderzoekers ter plaatse en met steun van partners waaronder NVIDIA, de departementale spin-off Flower Labs, MBZUAI en Inria.
Een pad naar krachtigere open agent-systemen tegen lagere kosten
Een andere belangrijke bevinding was dat het gebruik van opensourcesoftware-modellen voor een deel van het werk, naast computationeel dure instrumenten zoals ChatGPT, een manier kan zijn om de kosten voor de ontwikkeling van zelfverbeterende AI-systemen aanzienlijk te verlagen.
In een experiment om AI-reviewers en schrijvers van wetenschappelijke artikelen te laten co-evolueren, gebruikten de onderzoekers de NVIDIA Nemotron 3 Ultra naast ChatGPT-5.5. Bij de taak van het reviewen van artikelen benaderde deze hybride opstelling de prestaties die ChatGPT alleen zou behalen, terwijl de kosten voor search-tokens met ongeveer 13 keer werden verminderd.
Co-auteur professor Nic Lane zegt: "Dit is een specifiek resultaat, en we moeten voorzichtig zijn om het niet te overschatten. Maar het geeft ook aan waar deze methode naartoe kan gaan. Als open modellen het grootste deel van het zoekwerk kunnen doen, terwijl sterkere frontier-modellen het proces van verbetering op hoger niveau begeleiden, dan hebben we een plausibel pad naar veel krachtigere open agent-systemen tegen veel lagere kosten."
Daniel Burkhardt, Developer Relations Manager bij NVIDIA, vult aan: "Deze inspanning laat zien hoe open modellen een belangrijke rol kunnen spelen in geavanceerde agentische systemen. NVIDIA Nemotron-modellen zijn ontworpen om efficiënt en capabel te zijn voor redenering en agent-werkbelastingen, en dit werk laat zien hoe ze kunnen worden gebruikt als onderdeel van een bredere zelfverbeteringslus."
Het onderzoeksteam benadrukt dat het werk voorlopig is en dat langere zoekhorizons nodig zullen zijn om te begrijpen hoe ver deze benadering kan schalen. De resultaten wijzen echter op een nieuwe klasse van zelfverbeterende systemen waarin agenten en evaluatoren elkaar recursief stimuleren, wat de weg opent naar krachtigere, efficiëntere en open agentische AI.
Het artikel The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators is beschikbaar op arXiv. De onderliggende methode zal open source worden gemaakt om bredere adoptie te ondersteunen, terwijl het team blijft onderzoeken hoe deze zelfverbeterende benadering presteert over een breder scala aan AI-taken, inclusief experimenten die aanzienlijk worden opgeschaald ten opzichte van deze initiële resultaten.
Publicatiegegevens The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators: Alex Iacob, Andrej Jovanović, William F. Shen, Daniel Burkhardt, Meghdad Kurmanji, Nurbek Tastan, Lorenzo Sani, Niccolò Alberto Elia Venanzi, Ambroise Odonnat, Zeyu Cao, Bill Marino, Xinchi Qiu, Nicholas D. Lane.
De Red Queen-hypothese: een nieuwe weg voor zelfverbeterende AI
Het onderzoeksteam, waaraan ook partners van NVIDIA en Flower Labs hebben deelgenomen, heeft een nieuwe methode ontwikkeld voor recursief zelfverbeterende AI-agenten. Hiermee kunnen deze agenten zichzelf blijven verbeteren (door herhaaldelijk hun eigen code te testen en te optimaliseren) zonder tegen het 'evaluatieplafond' aan te lopen waar ze frequent tegenaan lopen. Bovendien suggereert hun methode een manier om de kosten van de computationele middelen die nodig zijn voor de ontwikkeling van dergelijke AI-agenten te verlagen.
Hoewel agenten zichzelf al kunnen verbeteren door hun eigen code te bewerken, varianten te testen en wijzigingen te behouden die beter presteren, wordt dit proces meestal beperkt door een vaste evaluator, benchmark of testsuite. Zodra de agent alles heeft geleerd wat dat vaste signaal kan onderscheiden, vertraagt of stagneert de verbetering.
"Een zelfverbeterende agent kan slechts zo goed worden als de test die hem scoort," legt teamlid Alex Iacob uit, PhD-student in het Machine Learning Systems Lab onder supervisie van prof. Nic Lane. "De test meet niet alleen de progressie, hij definieert deze. De effectiviteit van de test wordt dus een plafond waar de agent niet voorbij kan klimmen."
De onderzoekers hebben dit probleem aangepakt door zowel de zelfverbeterende agent als de evaluator samen te laten evolueren. "In plaats van een agent te verbeteren tegenover een vaste test, laten we de evaluatie mee-evolueren met de agent," voegt Alex toe. "Naarmate de agent beter wordt, wordt de evaluatie ook moeilijker, waardoor de lat steeds hoger komt te liggen."
De Red Queen Gödel Machine
Alex is de eerste auteur van het preprint-artikel dat het onderzoeksteam onlangs op arXiv heeft geüpload. The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators beschrijft de technische details van hun werk, samen met indrukwekkende resultaten bij het gebruik van dit raamwerk voor een aantal taken.
Figuur: Agenten en evaluatoren die samen verbeteren De Red Queen Gödel Machine zoekt door veel mogelijke versies van een AI-agent, terwijl hij tegelijkertijd de evaluator verbetert die deze agenten beoordeelt. Tijdens elke fase blijft de evaluator vaststaan, zodat de progressie betrouwbaar gemeten kan worden. Bij controlepunten kan een sterkere evaluator de oude vervangen als deze beter presteert op betrouwbare ground-truth voorbeelden. Scores van de oude evaluator worden vervolgens verwijderd, zodat de volgende fase wordt geleid door de nieuwe, strengere standaard. Dit creëert een zelfverbeterende lus waarin agenten en evaluatoren samen verbeteren, terwijl het systeem verankerd blijft aan betrouwbare controles.
Zowel bij het schrijven en reviewen van wetenschappelijke artikelen als bij het schrijven en beoordelen van bewijzen op het niveau van de (Wiskunde) Olympiade, verbeterde de Red Queen Gödel Machine de prestaties ten opzichte van eerdere zelfverbeterende AI-agenten.
"Co-evoluerende schrijvers van wetenschappelijke artikelen bereiken 1,78×–1,86× hogere acceptatiepercentages onder een divers panel van 'agent-as-a-judge'," rapporteren de onderzoekers in het artikel, "terwijl co-evoluerende beoordelaars een 9% hogere ground-truth nauwkeurigheid bereiken."
De Red Queen-hypothese
De opmerkelijke titel van het raamwerk verwijst naar de Red Queen (de Rode Koningin) – een fictief personage in het kinderboek Through the Looking-Glass van Lewis Carroll. Zij vertelt Alice, de hoofdrolspeler van de roman, dat "je hardst moet rennen om op dezelfde plek te blijven". De Red Queen-hypothese, een hypothese uit de evolutionaire biologie uit 1973, is naar dit personage vernoemd. De hypothese stelt dat soorten zich constant moeten aanpassen, evolueren en vermenigvuldigen om te overleven, terwijl ze worden geconfronteerd met andere soorten die ook voortdurend evolueren.
Deze hypothese is nu toegepast op AI.
"In plaats van een agent te verbeteren tegenover een vaste test, laten we de evaluatie mee-evolueren met de agent. Naarmate de agent beter wordt, wordt de evaluatie ook moeilijker, en de lat blijft stijgen."
— Alex Iacob, PhD-student
Het werk is uitgevoerd door een team van onderzoekers ter plaatse en met steun van partners waaronder NVIDIA, de departementale spin-off Flower Labs, MBZUAI en Inria.
Een pad naar krachtigere open agent-systemen tegen lagere kosten
Een andere belangrijke bevinding was dat het gebruik van opensourcesoftware-modellen voor een deel van het werk, naast computationeel dure instrumenten zoals ChatGPT, een manier kan zijn om de kosten voor de ontwikkeling van zelfverbeterende AI-systemen aanzienlijk te verlagen.
In een experiment om AI-reviewers en schrijvers van wetenschappelijke artikelen te laten co-evolueren, gebruikten de onderzoekers de NVIDIA Nemotron 3 Ultra naast ChatGPT-5.5. Bij de taak van het reviewen van artikelen benaderde deze hybride opstelling de prestaties die ChatGPT alleen zou behalen, terwijl de kosten voor search-tokens met ongeveer 13 keer werden verminderd.
Co-auteur professor Nic Lane zegt: "Dit is een specifiek resultaat, en we moeten voorzichtig zijn om het niet te overschatten. Maar het geeft ook aan waar deze methode naartoe kan gaan. Als open modellen het grootste deel van het zoekwerk kunnen doen, terwijl sterkere frontier-modellen het proces van verbetering op hoger niveau begeleiden, dan hebben we een plausibel pad naar veel krachtigere open agent-systemen tegen veel lagere kosten."
Daniel Burkhardt, Developer Relations Manager bij NVIDIA, vult aan: "Deze inspanning laat zien hoe open modellen een belangrijke rol kunnen spelen in geavanceerde agentische systemen. NVIDIA Nemotron-modellen zijn ontworpen om efficiënt en capabel te zijn voor redenering en agent-werkbelastingen, en dit werk laat zien hoe ze kunnen worden gebruikt als onderdeel van een bredere zelfverbeteringslus."
Het onderzoeksteam benadrukt dat het werk voorlopig is en dat langere zoekhorizons nodig zullen zijn om te begrijpen hoe ver deze benadering kan schalen. De resultaten wijzen echter op een nieuwe klasse van zelfverbeterende systemen waarin agenten en evaluatoren elkaar recursief stimuleren, wat de weg opent naar krachtigere, efficiëntere en open agentische AI.
Het artikel The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators is beschikbaar op arXiv. De onderliggende methode zal open source worden gemaakt om bredere adoptie te ondersteunen, terwijl het team blijft onderzoeken hoe deze zelfverbeterende benadering presteert over een breder scala aan AI-taken, inclusief experimenten die aanzienlijk worden opgeschaald ten opzichte van deze initiële resultaten.
Publicatiegegevens The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators: Alex Iacob, Andrej Jovanović, William F. Shen, Daniel Burkhardt, Meghdad Kurmanji, Nurbek Tastan, Lorenzo Sani, Niccolò Alberto Elia Venanzi, Ambroise Odonnat, Zeyu Cao, Bill Marino, Xinchi Qiu, Nicholas D. Lane.
Groetjes,