Het artikel beschrijft een experiment waarin de coördinatie tussen Large Language Model (LLM) agents wordt getest binnen een Pokémon Showdown 2v2-omgeving. Het doel is om te evalueren hoe agents communiceren en acties overleggen in een complexe, speltheoretische setting waarin niet alle informatie bekend is.
De auteur heeft vier communicatie-modi getest met het model Qwen3.8-27B:
- Vrij gesprek: De agents kunnen onbeperkt communiceren, wat leidde tot het hoogste winpercentage (64%), maar ook tot het hoogste tokenverbruik.
- Eén model: Eén enkel model bestuurt beide Pokémon (54% winst).
- Eén bericht per persoon: Beperkte communicatie (52% winst).
- Geen gesprek: Geen communicatie mogelijk (42% winst).
De conclusie is dat actieve communicatie tussen agents significant bijdraagt aan het succes, meer dan het simpelweg delen van één centrale 'geest'. Daarnaast is bewezen dat de omgeving bruikbaar is als benchmark, aangezien sterkere modellen consistent winnen van zwakkere modellen. Toekomstig onderzoek zal zich richten op het stimuleren van collaboratief gedrag via Reinforcement Learning (RL).
Multi-agent LLM-coördinatie in Pokémon
Voorbeeld van interactie
Qwen3.8-27B - Speler 1 "Beide tegenstanders zijn Water-types … dus mijn Fire-moves worden door beiden tegengehouden. … Ik ben van plan om Dondozo te Wisp-en … kun jij openen met Fake Out om een van hen deze beurt te flinchen?"
Qwen3.8-27B - Speler 2 "Goede keuze om Dondozo te Wisp-en. Een kleine correctie echter: Fighting wordt niet tegengehouden door Water of Ground, dus mijn Close Combat is neutraal (1x) tegen beiden. … Ik kies voor Fake Out → Whiscash."
- Qwen3.8-27B - Speler 1 koos Will-O-Wisp → tegenstander Dondozo (p4)
- Qwen3.8-27B - Speler 2 koos Fake Out → tegenstander Whiscash (p2)
Beelden van beurt 1 van een echte strijd tussen twee Qwen3.8-27B teamgenoten (fragmenten). Ze verdelen de doelwitten, waarbij de één de fout van de ander over type-matchups corrigeert voordat de actie wordt uitgevoerd.
Waarom Pokémon?
Pokémon doubles is een speltheoretische omgeving zonder volledige informatie. De sets van de tegenstanders zijn verborgen en schade is willekeurig, waardoor winnen echte strategie vereist: het lezen van het andere team, het verdelen van doelwitten en plannen in overleg met je partner. Recent werk, zoals de PokéAgent Challenge (Karten et al., 2026), benchmarkt Pokémon-gevechten, maar daar wordt elke zijde gespeeld door een enkele agent. Specialistische RL-agents (Reinforcement Learning) presteren daar nog steeds beter dan algemene LLM's. Bovendien wordt er niet getest op teamgenoten die moeten coördineren.
Het doel is een gecontroleerde omgeving waarin ik kan meten hoe LLM-agents coördineren, wat later kan worden gebruikt om hen via RL te trainen om dit collaboratieve gedrag te stimuleren.
Methodologie
Omgeving
De officiële Pokémon Showdown-simulator, verpakt als een Gym-stijl omgeving. Vier spelers controleren elk één Pokémon van een team van drie, met twee Pokémon per zijde in het gevecht.
Agents
Elke beurt leest een agent een samenvatting van het gevecht in begrijpelijk Engels en een genummerde lijst van zijn legale zetten. De agent kan een privébericht sturen naar zijn partner of een zet kiezen. Zodra een agent een keuze maakt, wordt de partner hiervan op de hoogte gesteld.
Gespreksmodi
Er zijn verschillende modi voor communicatie:
- Vrij gesprek: Doorgaan met praten totdat beide agents een keuze hebben gemaakt.
- Eén bericht per persoon: Elke agent mag één bericht sturen.
- Geen gesprek: Geen communicatie mogelijk.
- Eén model: Eén enkel model controleert beide Pokémon.
Evaluatie
Qwen3.8-27B speelt als beide teamgenoten tegen een gescripte 'max-damage bot'. De gevechten zijn voorzien van een seed en elk team-draw wordt vanuit beide zijden gespeeld, zodat elke gespreksmodus exact dezelfde gevechten tegenkomt.
Resultaten
Winpercentage per gespreksconditie t.o.v. max-damage bot baseline
| Conditie | Winpercentage | Tokens per gevecht |
|---|
| Vrij gesprek | 64% | 978k |
| Eén model controleert beiden | 54% | 450k |
| Eén bericht per persoon | 52% | 654k |
| Geen gesprek | 42% | 259k |
Praten helpt. Teamgenoten die vrij konden communiceren wonnen 64% van hun gevechten tegen de max-damage bot, terwijl teamgenoten die helemaal niet konden praten 42% wonnen. Zelfs een enkel bericht per persoon (52%) versloeg de 'geen gesprek'-optie. Dat één model beide Pokémon controleerde (54%) deed het beter dan geen gesprek, maar slechter dan twee agents die vrij communiceerden. Hieruit concludeer ik dat de winst voortkomt uit het gesprek zelf, en niet enkel uit het feit dat één geest beide zetten plant.
Praten brengt echter ook kosten met zich mee. Vrij gesprek verbruikte 978k prompt-tokens per gevecht, 3,8 keer zoveel als de 259k bij geen gesprek. Dit komt omdat elk bericht een nieuwe model-aanroep betekent waarbij het gevecht en het tot nu toe gevoerde gesprek opnieuw worden gelezen.
Winpercentage van Qwen3.8-27B team met vrij gesprek tegen:
| Tegenstander | Winpercentage |
|---|
| Qwen3.5-2B team | 96% |
| Qwen3.5-9B team | 74% |
| Max-damage bot | 64% |
Ik heb ook gecontroleerd of de omgeving onderscheid kan maken tussen modellen. Een Qwen3.8-27B team won 96% van de gevechten tegen een team van 2B-modellen en 74% tegen een team van 9B-modellen, vergeleken met 64% tegen de max-damage bot. Hoe sterker de tegenstander, hoe dichter de wedstrijden bij elkaar liggen, wat de omgeving bruikbaar maakt als benchmark voor het vergelijken van modellen.
Vervolgstappen
Ik ben bezig om het effect van communicatie te scheiden van het effect van het kunnen zien van de zet van je partner. Daarnaast onderzoek ik de mogelijkheid om de omgeving om te vormen tot een benchmark met een leaderboard over verschillende modellen, en om het te gebruiken voor RL-training om collaboratief gedrag aan te moedigen.
Dankwoord
Via dit project wilde ik meer leren over agent-samenwerking en RL-omgevingen, en ik dacht dat het leuk zou zijn de resultaten te delen! Ik heb deze experimenten uitgevoerd op het Grace-cluster van Texas A&M. Dank aan Maria Teleki en aan mijn adviseur, Prof. James Caverlee, voor de begeleiding en feedback onderweg.
Multi-agent LLM-coördinatie in Pokémon
Voorbeeld van interactie
Qwen3.8-27B - Speler 1 "Beide tegenstanders zijn Water-types … dus mijn Fire-moves worden door beiden tegengehouden. … Ik ben van plan om Dondozo te Wisp-en … kun jij openen met Fake Out om een van hen deze beurt te flinchen?"
Qwen3.8-27B - Speler 2 "Goede keuze om Dondozo te Wisp-en. Een kleine correctie echter: Fighting wordt niet tegengehouden door Water of Ground, dus mijn Close Combat is neutraal (1x) tegen beiden. … Ik kies voor Fake Out → Whiscash."
- Qwen3.8-27B - Speler 1 koos Will-O-Wisp → tegenstander Dondozo (p4)
- Qwen3.8-27B - Speler 2 koos Fake Out → tegenstander Whiscash (p2)
Beelden van beurt 1 van een echte strijd tussen twee Qwen3.8-27B teamgenoten (fragmenten). Ze verdelen de doelwitten, waarbij de één de fout van de ander over type-matchups corrigeert voordat de actie wordt uitgevoerd.
Waarom Pokémon?
Pokémon doubles is een speltheoretische omgeving zonder volledige informatie. De sets van de tegenstanders zijn verborgen en schade is willekeurig, waardoor winnen echte strategie vereist: het lezen van het andere team, het verdelen van doelwitten en plannen in overleg met je partner. Recent werk, zoals de PokéAgent Challenge (Karten et al., 2026), benchmarkt Pokémon-gevechten, maar daar wordt elke zijde gespeeld door een enkele agent. Specialistische RL-agents (Reinforcement Learning) presteren daar nog steeds beter dan algemene LLM's. Bovendien wordt er niet getest op teamgenoten die moeten coördineren.
Het doel is een gecontroleerde omgeving waarin ik kan meten hoe LLM-agents coördineren, wat later kan worden gebruikt om hen via RL te trainen om dit collaboratieve gedrag te stimuleren.
Methodologie
Omgeving
De officiële Pokémon Showdown-simulator, verpakt als een Gym-stijl omgeving. Vier spelers controleren elk één Pokémon van een team van drie, met twee Pokémon per zijde in het gevecht.
Agents
Elke beurt leest een agent een samenvatting van het gevecht in begrijpelijk Engels en een genummerde lijst van zijn legale zetten. De agent kan een privébericht sturen naar zijn partner of een zet kiezen. Zodra een agent een keuze maakt, wordt de partner hiervan op de hoogte gesteld.
Gespreksmodi
Er zijn verschillende modi voor communicatie:
- Vrij gesprek: Doorgaan met praten totdat beide agents een keuze hebben gemaakt.
- Eén bericht per persoon: Elke agent mag één bericht sturen.
- Geen gesprek: Geen communicatie mogelijk.
- Eén model: Eén enkel model controleert beide Pokémon.
Evaluatie
Qwen3.8-27B speelt als beide teamgenoten tegen een gescripte 'max-damage bot'. De gevechten zijn voorzien van een seed en elk team-draw wordt vanuit beide zijden gespeeld, zodat elke gespreksmodus exact dezelfde gevechten tegenkomt.
Resultaten
Winpercentage per gespreksconditie t.o.v. max-damage bot baseline
| Conditie | Winpercentage | Tokens per gevecht |
|---|
| Vrij gesprek | 64% | 978k |
| Eén model controleert beiden | 54% | 450k |
| Eén bericht per persoon | 52% | 654k |
| Geen gesprek | 42% | 259k |
Praten helpt. Teamgenoten die vrij konden communiceren wonnen 64% van hun gevechten tegen de max-damage bot, terwijl teamgenoten die helemaal niet konden praten 42% wonnen. Zelfs een enkel bericht per persoon (52%) versloeg de 'geen gesprek'-optie. Dat één model beide Pokémon controleerde (54%) deed het beter dan geen gesprek, maar slechter dan twee agents die vrij communiceerden. Hieruit concludeer ik dat de winst voortkomt uit het gesprek zelf, en niet enkel uit het feit dat één geest beide zetten plant.
Praten brengt echter ook kosten met zich mee. Vrij gesprek verbruikte 978k prompt-tokens per gevecht, 3,8 keer zoveel als de 259k bij geen gesprek. Dit komt omdat elk bericht een nieuwe model-aanroep betekent waarbij het gevecht en het tot nu toe gevoerde gesprek opnieuw worden gelezen.
Winpercentage van Qwen3.8-27B team met vrij gesprek tegen:
| Tegenstander | Winpercentage |
|---|
| Qwen3.5-2B team | 96% |
| Qwen3.5-9B team | 74% |
| Max-damage bot | 64% |
Ik heb ook gecontroleerd of de omgeving onderscheid kan maken tussen modellen. Een Qwen3.8-27B team won 96% van de gevechten tegen een team van 2B-modellen en 74% tegen een team van 9B-modellen, vergeleken met 64% tegen de max-damage bot. Hoe sterker de tegenstander, hoe dichter de wedstrijden bij elkaar liggen, wat de omgeving bruikbaar maakt als benchmark voor het vergelijken van modellen.
Vervolgstappen
Ik ben bezig om het effect van communicatie te scheiden van het effect van het kunnen zien van de zet van je partner. Daarnaast onderzoek ik de mogelijkheid om de omgeving om te vormen tot een benchmark met een leaderboard over verschillende modellen, en om het te gebruiken voor RL-training om collaboratief gedrag aan te moedigen.
Dankwoord
Via dit project wilde ik meer leren over agent-samenwerking en RL-omgevingen, en ik dacht dat het leuk zou zijn de resultaten te delen! Ik heb deze experimenten uitgevoerd op het Grace-cluster van Texas A&M. Dank aan Maria Teleki en aan mijn adviseur, Prof. James Caverlee, voor de begeleiding en feedback onderweg.
Groetjes,