AI-onderzoekers van YCombinator en Olam Labs hebben AI-agentzwermen getest in gaming-scenario's zoals Minecraft en Mindustry om inzicht te krijgen in collaboratie en conflict.
De resultaten laten een opvallend contrast zien:
- Samenwerking (Civ50): 50 GPT-6.1 agenten slaagden er niet in een bloeiende beschaving op te bouwen. Na aanvankelijke verliezen ontstond er een verlammende bureaucratie, waarbij agenten onnodig veel tijd besteedden aan administratieve functies.
- Competitie (Bed Wars): In een strijd tussen GPT-6.1 en Claude Opus 5.5 bleken de GPT-agenten agressiever en beter in staat om technische bugs te omzeilen.
- Strategie (Mindustry): GPT won met 6-1 van Claude. De GPT-agenten fungeerden als een collectief ('hive'), wat effectiever bleek dan het democratische besluitvormingsproces van de Claude-agenten.
Het project is open source, waardoor anderen kunnen experimenteren met verschillende modelcombinaties en zwermgroottes.
AI-agentzwermen losgelaten in Minecraft om 'een bloeiende beschaving te bouwen' — teams van 50 agenten falen door verlammende bureaucratie
Deze studie kan helpen begrijpen wat er is gebeurd in recente AI-zwermgevallen, zowel positief als negatief, zodat ontwikkelaars de technologie kunnen verbeteren. In de blog worden twee contrasterende zaken genoemd: de zwermen van duizend agenten die "onlangs honderden open wiskundige problemen oplosten" en het "extreem gevaarlijke" incident tussen OpenAI en Hugging Face. Het onderzoek bouwt voort op eerder werk en frameworks, specifiek repositories zoals Mindcraft en scripting-tools in Mineflayer.
Multi-agent dynamiek in Minecraft
Het eerste testplan voor de AI-zwermen was gericht op eenvoudige samenwerking. Tijdens deze fase kregen 50 agenten de opdracht om binnen drie uur een bloeiende beschaving op te bouwen. Voor deze test werden 50 GPT-6.1 Sol-agenten ingezet; er werden geen Claude-agenten gebruikt.
Het meest interessante inzicht uit deze 'Civ50'-test was dat de kolonie van 50 agenten nooit echt is gaan bloeien. Nadat zombies tijdens de eerste nacht een groot aantal agenten hadden uitgeschakeld (wat weinig straf met zich meebracht), werd opgemerkt dat "veel ambitieuze initiële taken werden verlaten".
Vanaf dat moment overleefden de kolonisten slechts voorzichtig en ontstond er een neiging tot bureaucratie. Een voorbeeld hiervan is dat vier agenten elf minuten besteedden aan het benoemen van een 'enige bemestingsoperator' voor één stukje bone meal op één enkel tarweblok. De onderzoekers stellen dat dit gedrag van de AI-agentzwerm "vergelijkbaar voelde met patronen die worden gezien bij het werken met codeer-agenten".
Conflict en competitie: Bed Wars
Vervolgens besloten de onderzoekers de AI-agentzwermen in conflict met elkaar te brengen. Eerst werden ze getest in Bed Wars, een team-PvP-modus waarbij het doel is om de basis van de tegenstander te veroveren terwijl je die van jezelf verdedigt. De opzet bestond uit 10 GPT-6.1 Sol-agenten tegenover 10 Claude Opus 5.5-agenten.
De onderzoekers merkten op dat de GPT-agenten "veel agressievere en uitgebreidere strategieën bedachten", terwijl Claude defensiever was. Ook was er een opvallend contrast in hoe de teams met problemen omgingen. Wanneer een tool-bug het breken van blokken stopte, diagnosticeerde GPT het probleem en deelden de agenten workarounds; verschillende Claude-agenten concludeerden daarentegen dat breken simpelweg onmogelijk was.
Strategische strijd in Mindustry
Tot slot werden de agenten getest in Mindustry, een lichtgewicht RTS-gevechtsspel met een tower defense-modus in Minecraft. In zeven gespeelde games wonnen de GPT-agenten met 6-1 van de Claude-agenten, een sterk resultaat voor de door OpenAI gecreëerde agenten.
De onderzoekers concludeerden dat de GPT's meer fungeerden als een 'hive' (een collectief), terwijl de Claudes één leider hadden maar een democratisch besluitvormingsproces hanteerden. In Mindustry bleek de collectieve aanpak de basis te zijn voor een consistent winnende strategie.
Deze zwermen zijn open source, waardoor geïnteresseerden ze zelf kunnen draaien, aanpassen en testen. De bronblog sluit af met enkele open vragen die via hands-on onderzoek beantwoord kunnen worden. Zo wordt gesuggereerd dat het vergelijken van verschillende combinaties van modellen en het variëren van de grootte van de agentzwermen in Minecraft tot waardevolle conclusies zou kunnen leiden.
AI-agentzwermen losgelaten in Minecraft om 'een bloeiende beschaving te bouwen' — teams van 50 agenten falen door verlammende bureaucratie
Deze studie kan helpen begrijpen wat er is gebeurd in recente AI-zwermgevallen, zowel positief als negatief, zodat ontwikkelaars de technologie kunnen verbeteren. In de blog worden twee contrasterende zaken genoemd: de zwermen van duizend agenten die "onlangs honderden open wiskundige problemen oplosten" en het "extreem gevaarlijke" incident tussen OpenAI en Hugging Face. Het onderzoek bouwt voort op eerder werk en frameworks, specifiek repositories zoals Mindcraft en scripting-tools in Mineflayer.
Multi-agent dynamiek in Minecraft
Het eerste testplan voor de AI-zwermen was gericht op eenvoudige samenwerking. Tijdens deze fase kregen 50 agenten de opdracht om binnen drie uur een bloeiende beschaving op te bouwen. Voor deze test werden 50 GPT-6.1 Sol-agenten ingezet; er werden geen Claude-agenten gebruikt.
Het meest interessante inzicht uit deze 'Civ50'-test was dat de kolonie van 50 agenten nooit echt is gaan bloeien. Nadat zombies tijdens de eerste nacht een groot aantal agenten hadden uitgeschakeld (wat weinig straf met zich meebracht), werd opgemerkt dat "veel ambitieuze initiële taken werden verlaten".
Vanaf dat moment overleefden de kolonisten slechts voorzichtig en ontstond er een neiging tot bureaucratie. Een voorbeeld hiervan is dat vier agenten elf minuten besteedden aan het benoemen van een 'enige bemestingsoperator' voor één stukje bone meal op één enkel tarweblok. De onderzoekers stellen dat dit gedrag van de AI-agentzwerm "vergelijkbaar voelde met patronen die worden gezien bij het werken met codeer-agenten".
Conflict en competitie: Bed Wars
Vervolgens besloten de onderzoekers de AI-agentzwermen in conflict met elkaar te brengen. Eerst werden ze getest in Bed Wars, een team-PvP-modus waarbij het doel is om de basis van de tegenstander te veroveren terwijl je die van jezelf verdedigt. De opzet bestond uit 10 GPT-6.1 Sol-agenten tegenover 10 Claude Opus 5.5-agenten.
De onderzoekers merkten op dat de GPT-agenten "veel agressievere en uitgebreidere strategieën bedachten", terwijl Claude defensiever was. Ook was er een opvallend contrast in hoe de teams met problemen omgingen. Wanneer een tool-bug het breken van blokken stopte, diagnosticeerde GPT het probleem en deelden de agenten workarounds; verschillende Claude-agenten concludeerden daarentegen dat breken simpelweg onmogelijk was.
Strategische strijd in Mindustry
Tot slot werden de agenten getest in Mindustry, een lichtgewicht RTS-gevechtsspel met een tower defense-modus in Minecraft. In zeven gespeelde games wonnen de GPT-agenten met 6-1 van de Claude-agenten, een sterk resultaat voor de door OpenAI gecreëerde agenten.
De onderzoekers concludeerden dat de GPT's meer fungeerden als een 'hive' (een collectief), terwijl de Claudes één leider hadden maar een democratisch besluitvormingsproces hanteerden. In Mindustry bleek de collectieve aanpak de basis te zijn voor een consistent winnende strategie.
Deze zwermen zijn open source, waardoor geïnteresseerden ze zelf kunnen draaien, aanpassen en testen. De bronblog sluit af met enkele open vragen die via hands-on onderzoek beantwoord kunnen worden. Zo wordt gesuggereerd dat het vergelijken van verschillende combinaties van modellen en het variëren van de grootte van de agentzwermen in Minecraft tot waardevolle conclusies zou kunnen leiden.
Groetjes,