In dit artikel betoogt Kuber Mehta dat de visuele demonstraties die vaak bij de lancering van nieuwe AI-modellen worden getoond — zoals het recreëren van Minecraft of het tekenen van SVG's — geen betrouwbare benchmarks zijn. Hij noemt dit 'demo-benchmarks': taken die visueel begrijpelijk zijn, maar zo eindig dat AI-labs hun modellen specifiek daarop kunnen optimaliseren (overfitting) voor marketingdoeleinden.
Mehta wijst erop dat dit probleem ook voorkomt bij open evaluaties, waarbij testdata in de trainingssets lekt, waardoor modellen hoger scoren dan hun werkelijke capaciteit rechtvaardigt. Als alternatief stelt hij 'holdout evals' voor, waarbij tests privé blijven of roteren zodat modellen er niet op getraind kunnen worden. Hoewel demo's effectief blijven als communicatiemiddel, waarschuwt de auteur dat ze ongeschikt zijn voor een objectieve beoordeling van AI-modellen.
Het recreëren van Minecraft is geen benchmark
GPT Astra is een paar dagen geleden uitgebracht en onvermijdelijk was mijn hele feed binnen een uur gevuld met dezelfde vijf dingen: Minecraft recreëren in één prompt, zichzelf schilderen in MS Paint, een pelikaan op een fiets als SVG, een stuiterende bal in een roterende doos met geloofwaardige zwaartekracht, en een SVG-gamecontroller.
Op papier lijken dit moeilijkere, visuele problemen voor een model om op te lossen; er is een reden waarom ze zo populair zijn. Ik noem ze "demo-benchmarks": visueel en begrijpelijk genoeg voor iedereen, maar eindig genoeg zodat het volgende model er "perfect" op kan scoren.
Het probleem met optimalisatie
Dat is precies het probleem: deze tests kunnen niet langer vertellen hoe goed een model is, omdat het voor labs triviaal is om precies voor deze tests te optimaliseren bij de volgende release.
Het is overigens niet echt hun schuld; ik zou zeggen dat het dom zou zijn als ze dat niet deden. Niets verkoopt een lancering zo goed als een pelikaan of een 3D-gamecontroller waar de tijdlijn niet over kan ophouden te praten.
Een vast, bekend doel en acht weken de tijd is een "opgeloste pelikaan". Deze tests veranderen nooit, en alles wat nooit verandert, kan worden overfit. Elke lanceercyclus bewijst dit opnieuw. Een test die je volgens een schema kunt perfectioneren, meet voorbereiding in plaats van capaciteit. Voor mij is dat precies het tegenovergestelde van de definitie van een benchmark; het zou een zware test moeten zijn, iets dat zeer moeilijk te perfectioneren is.
Open evaluaties en trainingsdata
Dezelfde dynamiek is terug te zien in open evaluaties. Kleinere modellen die in de praktijk dommer aanvoelen, scoren nog steeds hoger dan betere modellen op sites zoals Artificial Analysis.
Dit is geen hypothetische situatie. Thinking Machines' Inkling Small scoorde op de Artificial Analysis Intelligence Index binnen één punt van zijn grotere broer, terwijl hij minder dan een derde van de parameters heeft. Bovendien versloeg het grotere model op Humanity’s Last Exam, GPQA Diamond en SciCode. Publieke, statische en bekende testsets lekken in de trainingsdata en beïnvloeden de keuzes bij fine-tuning.
Een lancering is een eerste indruk, en eerste indrukken zijn marketing. Daarom ben je altijd gedoemd om geschokt te zijn — de schok was immers gepland.
Het alternatief: Holdout Evals
Dus wat is het alternatief? Eerlijk gezegd weet ik het niet zeker, want als je erover nadenkt, bestaat de voor de hand liggende oplossing eigenlijk al. LiveBench roteert zijn vragen, ARC-AGI houdt een privésectie aan, en Humanity’s Last Exam houdt een deel van de inhoud geheim.
Het gaat om tests waarbij de geteste partij niet weet wat er precies getest wordt: je kunt immers niet trainen voor een test die nog niet geschreven is.
Waarom de demo toch blijft winnen
Maar als holdout evals het antwoord zijn, waarom wint de pelikaan dan nog steeds?
Het antwoord is dat het grootste deel van sociale media geen researchpaper hoeft te lezen om op te merken dat de fiets eindelijk pedalen heeft of geanimeerd is. Een demo-benchmark maakt in enkele seconden duidelijk waarom een capaciteit beter is.
Er is dus geen alternatief voor een goede demo. Maar er zijn betere alternatieven voor demo-benchmarks om te zien hoe goed een model werkelijk is. En als een model goed scoort, maar in jouw werk blijft falen, dan is dat een gat dat daadwerkelijk onderzoek verdient.
Demo-benchmarks zijn geweldige content. Ik wou alleen dat we zouden stoppen ze te gebruiken om modellen te beoordelen.
Het recreëren van Minecraft is geen benchmark
GPT Astra is een paar dagen geleden uitgebracht en onvermijdelijk was mijn hele feed binnen een uur gevuld met dezelfde vijf dingen: Minecraft recreëren in één prompt, zichzelf schilderen in MS Paint, een pelikaan op een fiets als SVG, een stuiterende bal in een roterende doos met geloofwaardige zwaartekracht, en een SVG-gamecontroller.
Op papier lijken dit moeilijkere, visuele problemen voor een model om op te lossen; er is een reden waarom ze zo populair zijn. Ik noem ze "demo-benchmarks": visueel en begrijpelijk genoeg voor iedereen, maar eindig genoeg zodat het volgende model er "perfect" op kan scoren.
Het probleem met optimalisatie
Dat is precies het probleem: deze tests kunnen niet langer vertellen hoe goed een model is, omdat het voor labs triviaal is om precies voor deze tests te optimaliseren bij de volgende release.
Het is overigens niet echt hun schuld; ik zou zeggen dat het dom zou zijn als ze dat niet deden. Niets verkoopt een lancering zo goed als een pelikaan of een 3D-gamecontroller waar de tijdlijn niet over kan ophouden te praten.
Een vast, bekend doel en acht weken de tijd is een "opgeloste pelikaan". Deze tests veranderen nooit, en alles wat nooit verandert, kan worden overfit. Elke lanceercyclus bewijst dit opnieuw. Een test die je volgens een schema kunt perfectioneren, meet voorbereiding in plaats van capaciteit. Voor mij is dat precies het tegenovergestelde van de definitie van een benchmark; het zou een zware test moeten zijn, iets dat zeer moeilijk te perfectioneren is.
Open evaluaties en trainingsdata
Dezelfde dynamiek is terug te zien in open evaluaties. Kleinere modellen die in de praktijk dommer aanvoelen, scoren nog steeds hoger dan betere modellen op sites zoals Artificial Analysis.
Dit is geen hypothetische situatie. Thinking Machines' Inkling Small scoorde op de Artificial Analysis Intelligence Index binnen één punt van zijn grotere broer, terwijl hij minder dan een derde van de parameters heeft. Bovendien versloeg het grotere model op Humanity’s Last Exam, GPQA Diamond en SciCode. Publieke, statische en bekende testsets lekken in de trainingsdata en beïnvloeden de keuzes bij fine-tuning.
Een lancering is een eerste indruk, en eerste indrukken zijn marketing. Daarom ben je altijd gedoemd om geschokt te zijn — de schok was immers gepland.
Het alternatief: Holdout Evals
Dus wat is het alternatief? Eerlijk gezegd weet ik het niet zeker, want als je erover nadenkt, bestaat de voor de hand liggende oplossing eigenlijk al. LiveBench roteert zijn vragen, ARC-AGI houdt een privésectie aan, en Humanity’s Last Exam houdt een deel van de inhoud geheim.
Het gaat om tests waarbij de geteste partij niet weet wat er precies getest wordt: je kunt immers niet trainen voor een test die nog niet geschreven is.
Waarom de demo toch blijft winnen
Maar als holdout evals het antwoord zijn, waarom wint de pelikaan dan nog steeds?
Het antwoord is dat het grootste deel van sociale media geen researchpaper hoeft te lezen om op te merken dat de fiets eindelijk pedalen heeft of geanimeerd is. Een demo-benchmark maakt in enkele seconden duidelijk waarom een capaciteit beter is.
Er is dus geen alternatief voor een goede demo. Maar er zijn betere alternatieven voor demo-benchmarks om te zien hoe goed een model werkelijk is. En als een model goed scoort, maar in jouw werk blijft falen, dan is dat een gat dat daadwerkelijk onderzoek verdient.
Demo-benchmarks zijn geweldige content. Ik wou alleen dat we zouden stoppen ze te gebruiken om modellen te beoordelen.
Groetjes,