In dit artikel reflecteert Nathan Lambert op de uitdagingen van het onafhankelijk evalueren van taalmodellen. Hij bespreekt de paradox van aggregatie: de wens om complexe intelligentie te reduceren tot één enkel getal, terwijl dit onvermijdelijk leidt tot imperfecties. Centraal staat de Artificial Analysis v5 Intelligence Index, die scores weegt over kenniswerk, coderen, wetenschap en algemene vaardigheden.
Lambert analyseert de kloof tussen open-weight en gesloten modellen, waarbij hij concludeert dat gesloten modellen momenteel nog superieur zijn aan de absolute frontier, hoewel open modellen een strategische rol spelen in het commoditiseren van inferentie. Daarnaast waarschuwt hij voor 'benchmaxxing' (het optimaliseren van training specifiek voor benchmarks) en de verschuiving naar private benchmarks, wat de transparantie in de industrie vermindert. Hij concludeert dat benchmarking uiteindelijk een sociologische kwestie van vertrouwen is en pleit voor een diversiteit aan indices om een accurater beeld van AI-capaciteiten te krijgen.
Artificial Analysis v5 en het dilemma van de benchmarker
Een analyse van de benchmarking-industrie en de tekortkomingen daarvan
Het optimaliseren van scores (hill-climbing) is makkelijk; weten wat je precies moet optimaliseren is moeilijk. Het omhoog krikken van cijfers is duur, maar we hebben daarvoor een veel duidelijker draaiboek dan voor het creëren van betekenisvolle benchmarks aan de huidige grens van AI.
De onafhankelijke evaluatie van taalmodellen wordt vaak onderschat in termen van complexiteit. Deze groepen doen meer dan alleen huidige modellen te nemen en hun scores te certificeren, wat op zichzelf al een technisch complexe taak is. Dat zou hun volledige werk zijn als de AI-vooruitgang traag zou verlopen. Maar omdat de voortgang zo snel gaat, is het technische gedeelte slechts het routineuze werk in een grotere poging om een enkel getal te vinden dat representatief is voor wat een goed AI-model vandaag de dag maakt. Het doel is een getal dat overeenkomt met 'vibe checks', het sentiment in de community en wetenschappelijke analyses, terwijl het toekomstbestendig genoeg is om niet over drie maanden al verouderd te zijn.
De paradox van de aggregatie
Iedereen die een benchmark bouwt, staat voor een paradox. Je wilt dat je benchmark reduceert tot één enkel getal, zodat het gemakkelijk te bespreken is, gebruikt kan worden in rapporten en modellen met elkaar vergeleken kunnen worden. Echter, elke methode om scores te aggregeren brengt significante compromissen met zich mee. Zelfs de beste wetenschappers worstelen hiermee; het is een kwestie van aggregatiemetrieken creëren die zo eerlijk mogelijk zijn, wetende dat er altijd imperfecties zullen zijn.
Gezien de enorme hoeveelheden kapitaal in het AI-ecosysteem is het gewicht van onafhankelijke evaluatie nog groter: je bepaalt in feite de winnaars en verliezers van een markt van biljoenen dollars. Bovendien beïnvloed je de modellen zelf en stuur je daarmee de richting van de vooruitgang. Dat brengt een enorme druk met zich mee.
Artificial Analysis v5: De Intelligence Index
De aanleiding voor dit artikel is de recente update van de Intelligence Index van Artificial Analysis (AA), versie 5. De AA-index is de meest prominente onafhankelijke intelligentiemetriek voor de nieuwste frontier-modellen, gevolgd door de Capabilities Index (ECI) van Epoch AI. Hoewel beide ongelooflijk nuttig zijn geweest voor de community, zijn ze ook beide fundamenteel gebrekkig.
Taalmodellen zijn tegenwoordig tot zoveel in staat, en dit spectrum aan mogelijkheden groeit snel. Het tijdperk van enkelvoudige intelligentie-indices zou spoedig moeten worden uitgefaseerd, al zal dat een langdurig proces zijn.
Hieronder volgt een samenvatting van AA v5, zoals beschreven in hun blogpost, waarbij zij stellen dat de index het "actuele gebruik in de echte wereld weerspiegelt":
Weging van de Intelligence Index v5:
- Kenniswerk (25%): AA-Briefcase (15%), AutomationBench-AA (5%) en GDP.pdf (5%)
- Coderen (25%): FrontierCode 2.0 (15%) en Terminal-Bench 4.0 (10%)
- Wetenschap (25%): Terminal-Bench-Science (15%) en CritPt v2 hard subset (10%)
- Algemeen (25%): AA-Omniscience v1.1 (15% — waarvan 10% accuratesse en 5% non-hallucinatie) en HLE-Diamond (10%)
De kloof tussen open en gesloten modellen
Het probleem bij het benchmarken van real-world gebruik is dat dit zeer onregelmatig ("jagged") is, net als de modellen zelf. Het meest bewezen use-case is coderen, waar open modellen veel concurrerender zijn en waarschijnlijk kunnen bijblijven. Bij kenniswerk ben ik minder zeker over de open modellen.
Op het eerste gezicht lijkt hun modelranking redelijk. Toch vertoont het tekenen van spanning en verwarring — zoals elke benchmark doet — waarbij GPT 6.1 Terra bijvoorbeeld Claude Fable 5.1 verslaat op AAv5. Sommige benchmarks meten de absolute grens van capaciteiten via open-ended taken, terwijl andere benchmarks vaardigheden meten die nodig zijn voor repetitieve agentische taken. Het lijkt erop dat AA hun benchmark meer afstemt op het eerste: een algemene agentische collaborator, hoewel deze gedragingen overlappen.
Een interessant punt is de balans tussen open en gesloten modellen in de nieuwe benchmark. De data laat zien dat acht gesloten modellen het beste 'to-be open-weight' model, Kimi K3.1 Pro, verslaan. Omdat deze benchmark probeert te meten waar frontier-modellen naartoe bewegen, wordt de kloof met open modellen groter. Dit is een verdedigbare keuze, maar naarmate bestaande workflows van open modellen een sleutelfactor in de economie worden, zou deze benchmark kunnen missen waar de kern van de economische motor van de industrie zich bevindt.
De ondergang van open modellen lijkt hierin sterk overdreven, maar ik denk dat de vorige index de open-weight modellen te veel bevoordeelde. De beste modellen van OpenAI en Anthropic lopen in flexibiliteit en betrouwbaarheid een grote stap voor.
De strategische positie van open modellen
Sommige evaluaties in AAv5 waar open modellen het meest achterblijven zijn de "wetenschappelijke" evaluaties, zoals terminal-bench-science en CritPT v2. De waardepropositie van open modellen was echter nooit om echt te concurreren aan de absolute frontier. De economie van open modellen zal draaien om:
- Het reduceren van domeinen met een hoge marktvraag voor inferentie tot een commodity-prijs van hardware.
- Het mogelijk maken van eigenaarschap van intelligentie, waarbij deze gespecialiseerd kan worden op interne data en interne agents beheerd kunnen worden binnen bedrijven.
Beide zullen lang duren om volledig te materialiseren. De huidige aanvoer van compute is zo laag dat open model-providers nog steeds solide marges behalen; wanneer dit krimpt, weten we dat het systeem begint te werken.
Benchmaxxing en private benchmarks
Bij de volgende grote modelcyclus (bijv. GLM 6 of Kimi 3.5) verwacht ik dat leidende open model-labs aanzienlijke stappen zetten op deze index. Er is echter een trend waarbij de beste open modellen een beetje "benchmaxxen" (hun training specifiek optimaliseren voor benchmarks), terwijl de minder goede modellen dit veel vaker doen.
Een ander aspect van de recente aankondiging is de overstap naar "private benchmarks", waarbij prompts en testomgevingen niet openbaar zijn. Dit is een reactie op het benchmaxxing door open labs. Hoewel dit directioneel verdedigbaar is, is het niet onomstreden. Je plaatst namelijk volledig vertrouwen in de maker van de private benchmark, omdat de community niet langer bugs kan vinden of suggesties kan doen voor verbetering. Gezien de belangen die op het spel staan, zou ik liever transparantie zien.
De rol van de grote labs en het vertrouwen in de industrie
Het is belangrijk op te merken dat labs als Anthropic en OpenAI al maanden of zelfs jaren geleden zijn gestopt met het focussen op deze indices. Hun focus ligt grotendeels op interne toepassingen — zoals AI R&D-automatisering — en de use-cases van klanten die miljarden dollars uitgeven. Voor kleine tot middelgrote labs is het echter existentieel om solide over te komen op deze intelligentie-indices, omdat hun branding volledig is gebouwd op het idee dat ze de frontier inhalen.
De enige oplossing voor het huidige evenwicht, waarbij één of twee indices het discours domineren, is het creëren van meer intelligentie-indices met andere biases, bijvoorbeeld specifiek voor coderen (zoals CursorBench).
Uiteindelijk komt de benchmarking-industrie neer op vertrouwen. Er is altijd een risico dat cijfers worden verschoven om een bepaald narratief te ondersteunen. De entiteiten die ik het meest vertrouw wat betreft eerlijkheid zijn non-profits, academici en overheidsinstellingen zoals CAISI. De instanties die ik het meest vertrouw wat betreft accuratesse aan de frontier zijn echter startups zoals Artificial Analysis en Arena.
We zitten dus vast aan compromissen en dilemma's. Geen enkel getal is perfect en er is veel ruimte om analyses in verschillende richtingen te trekken. Dit is het dilemma van de benchmarker van benchmarkers: een vraag die meer sociologisch dan wetenschappelijk is.
Artificial Analysis v5 en het dilemma van de benchmarker
Een analyse van de benchmarking-industrie en de tekortkomingen daarvan
Het optimaliseren van scores (hill-climbing) is makkelijk; weten wat je precies moet optimaliseren is moeilijk. Het omhoog krikken van cijfers is duur, maar we hebben daarvoor een veel duidelijker draaiboek dan voor het creëren van betekenisvolle benchmarks aan de huidige grens van AI.
De onafhankelijke evaluatie van taalmodellen wordt vaak onderschat in termen van complexiteit. Deze groepen doen meer dan alleen huidige modellen te nemen en hun scores te certificeren, wat op zichzelf al een technisch complexe taak is. Dat zou hun volledige werk zijn als de AI-vooruitgang traag zou verlopen. Maar omdat de voortgang zo snel gaat, is het technische gedeelte slechts het routineuze werk in een grotere poging om een enkel getal te vinden dat representatief is voor wat een goed AI-model vandaag de dag maakt. Het doel is een getal dat overeenkomt met 'vibe checks', het sentiment in de community en wetenschappelijke analyses, terwijl het toekomstbestendig genoeg is om niet over drie maanden al verouderd te zijn.
De paradox van de aggregatie
Iedereen die een benchmark bouwt, staat voor een paradox. Je wilt dat je benchmark reduceert tot één enkel getal, zodat het gemakkelijk te bespreken is, gebruikt kan worden in rapporten en modellen met elkaar vergeleken kunnen worden. Echter, elke methode om scores te aggregeren brengt significante compromissen met zich mee. Zelfs de beste wetenschappers worstelen hiermee; het is een kwestie van aggregatiemetrieken creëren die zo eerlijk mogelijk zijn, wetende dat er altijd imperfecties zullen zijn.
Gezien de enorme hoeveelheden kapitaal in het AI-ecosysteem is het gewicht van onafhankelijke evaluatie nog groter: je bepaalt in feite de winnaars en verliezers van een markt van biljoenen dollars. Bovendien beïnvloed je de modellen zelf en stuur je daarmee de richting van de vooruitgang. Dat brengt een enorme druk met zich mee.
Artificial Analysis v5: De Intelligence Index
De aanleiding voor dit artikel is de recente update van de Intelligence Index van Artificial Analysis (AA), versie 5. De AA-index is de meest prominente onafhankelijke intelligentiemetriek voor de nieuwste frontier-modellen, gevolgd door de Capabilities Index (ECI) van Epoch AI. Hoewel beide ongelooflijk nuttig zijn geweest voor de community, zijn ze ook beide fundamenteel gebrekkig.
Taalmodellen zijn tegenwoordig tot zoveel in staat, en dit spectrum aan mogelijkheden groeit snel. Het tijdperk van enkelvoudige intelligentie-indices zou spoedig moeten worden uitgefaseerd, al zal dat een langdurig proces zijn.
Hieronder volgt een samenvatting van AA v5, zoals beschreven in hun blogpost, waarbij zij stellen dat de index het "actuele gebruik in de echte wereld weerspiegelt":
Weging van de Intelligence Index v5:
- Kenniswerk (25%): AA-Briefcase (15%), AutomationBench-AA (5%) en GDP.pdf (5%)
- Coderen (25%): FrontierCode 2.0 (15%) en Terminal-Bench 4.0 (10%)
- Wetenschap (25%): Terminal-Bench-Science (15%) en CritPt v2 hard subset (10%)
- Algemeen (25%): AA-Omniscience v1.1 (15% — waarvan 10% accuratesse en 5% non-hallucinatie) en HLE-Diamond (10%)
De kloof tussen open en gesloten modellen
Het probleem bij het benchmarken van real-world gebruik is dat dit zeer onregelmatig ("jagged") is, net als de modellen zelf. Het meest bewezen use-case is coderen, waar open modellen veel concurrerender zijn en waarschijnlijk kunnen bijblijven. Bij kenniswerk ben ik minder zeker over de open modellen.
Op het eerste gezicht lijkt hun modelranking redelijk. Toch vertoont het tekenen van spanning en verwarring — zoals elke benchmark doet — waarbij GPT 6.1 Terra bijvoorbeeld Claude Fable 5.1 verslaat op AAv5. Sommige benchmarks meten de absolute grens van capaciteiten via open-ended taken, terwijl andere benchmarks vaardigheden meten die nodig zijn voor repetitieve agentische taken. Het lijkt erop dat AA hun benchmark meer afstemt op het eerste: een algemene agentische collaborator, hoewel deze gedragingen overlappen.
Een interessant punt is de balans tussen open en gesloten modellen in de nieuwe benchmark. De data laat zien dat acht gesloten modellen het beste 'to-be open-weight' model, Kimi K3.1 Pro, verslaan. Omdat deze benchmark probeert te meten waar frontier-modellen naartoe bewegen, wordt de kloof met open modellen groter. Dit is een verdedigbare keuze, maar naarmate bestaande workflows van open modellen een sleutelfactor in de economie worden, zou deze benchmark kunnen missen waar de kern van de economische motor van de industrie zich bevindt.
De ondergang van open modellen lijkt hierin sterk overdreven, maar ik denk dat de vorige index de open-weight modellen te veel bevoordeelde. De beste modellen van OpenAI en Anthropic lopen in flexibiliteit en betrouwbaarheid een grote stap voor.
De strategische positie van open modellen
Sommige evaluaties in AAv5 waar open modellen het meest achterblijven zijn de "wetenschappelijke" evaluaties, zoals terminal-bench-science en CritPT v2. De waardepropositie van open modellen was echter nooit om echt te concurreren aan de absolute frontier. De economie van open modellen zal draaien om:
- Het reduceren van domeinen met een hoge marktvraag voor inferentie tot een commodity-prijs van hardware.
- Het mogelijk maken van eigenaarschap van intelligentie, waarbij deze gespecialiseerd kan worden op interne data en interne agents beheerd kunnen worden binnen bedrijven.
Beide zullen lang duren om volledig te materialiseren. De huidige aanvoer van compute is zo laag dat open model-providers nog steeds solide marges behalen; wanneer dit krimpt, weten we dat het systeem begint te werken.
Benchmaxxing en private benchmarks
Bij de volgende grote modelcyclus (bijv. GLM 6 of Kimi 3.5) verwacht ik dat leidende open model-labs aanzienlijke stappen zetten op deze index. Er is echter een trend waarbij de beste open modellen een beetje "benchmaxxen" (hun training specifiek optimaliseren voor benchmarks), terwijl de minder goede modellen dit veel vaker doen.
Een ander aspect van de recente aankondiging is de overstap naar "private benchmarks", waarbij prompts en testomgevingen niet openbaar zijn. Dit is een reactie op het benchmaxxing door open labs. Hoewel dit directioneel verdedigbaar is, is het niet onomstreden. Je plaatst namelijk volledig vertrouwen in de maker van de private benchmark, omdat de community niet langer bugs kan vinden of suggesties kan doen voor verbetering. Gezien de belangen die op het spel staan, zou ik liever transparantie zien.
De rol van de grote labs en het vertrouwen in de industrie
Het is belangrijk op te merken dat labs als Anthropic en OpenAI al maanden of zelfs jaren geleden zijn gestopt met het focussen op deze indices. Hun focus ligt grotendeels op interne toepassingen — zoals AI R&D-automatisering — en de use-cases van klanten die miljarden dollars uitgeven. Voor kleine tot middelgrote labs is het echter existentieel om solide over te komen op deze intelligentie-indices, omdat hun branding volledig is gebouwd op het idee dat ze de frontier inhalen.
De enige oplossing voor het huidige evenwicht, waarbij één of twee indices het discours domineren, is het creëren van meer intelligentie-indices met andere biases, bijvoorbeeld specifiek voor coderen (zoals CursorBench).
Uiteindelijk komt de benchmarking-industrie neer op vertrouwen. Er is altijd een risico dat cijfers worden verschoven om een bepaald narratief te ondersteunen. De entiteiten die ik het meest vertrouw wat betreft eerlijkheid zijn non-profits, academici en overheidsinstellingen zoals CAISI. De instanties die ik het meest vertrouw wat betreft accuratesse aan de frontier zijn echter startups zoals Artificial Analysis en Arena.
We zitten dus vast aan compromissen en dilemma's. Geen enkel getal is perfect en er is veel ruimte om analyses in verschillende richtingen te trekken. Dit is het dilemma van de benchmarker van benchmarkers: een vraag die meer sociologisch dan wetenschappelijk is.
Groetjes,