Het artikel introduceert de Conceptual Reasoning Index (CRI), een suite van benchmarks ontwikkeld door Redwood Research en Anthropic om het 'conceptueel redeneren' van AI-modellen te evalueren. Dit type redeneren is cruciaal voor AI-veiligheid, omdat veel taken op dit gebied geen empirische feedbackloops of objectieve waarheden hebben.
De CRI bestaat uit drie specifieke benchmarks:
- LMCA (Language Model Conceptual Argumentation): Meet het vermogen om complexe conceptuele argumenten te beoordelen (weging 60%).
- ACCoRD (Assessment of Consistency in Conceptual Reasoning Domains): Test de logische consistentie van overtuigingen en voorkeuren binnen modellen (weging 20%).
- DTBench capabilities (Decision Theory Benchmark): Evalueert het redeneren over beslisterie-situaties (weging 20%).
Uit de resultaten blijkt dat modelprestaties sinds eind 2024 lineair stijgen. Het hoogst scorende model, Opus 5, behaalde een score van 73,6 op een geschat plafond van circa 91. De auteurs benadrukken dat het verbeteren van deze conceptuele vaardigheden essentieel is om risico's van geavanceerde AI effectiever aan te pakken.
Introductie van de Conceptual Reasoning Index
Samenvatting
Een kernhoop voor het beheersen van AI-risico's is dat AI ons zal helpen onze situatie te begrijpen, plannen te maken voor de toekomst en risicomitigaties te ontwikkelen. Veel taken die AI's hiervoor moeten uitvoeren, missen praktische empirische feedbackloops en vereisen dat modellen gebruikmaken van het soort argumentatie dat wordt gehanteerd in de filosofie, AI-futurisme en vergelijkbare domeinen. Om deze capaciteiten te evalueren, hebben we een suite van drie benchmarks voor conceptueel redeneren ontwikkeld. Toegang tot onze primaire conceptuele dataset, LMCA, kan worden aangevraagd via het bijbehorende formulier.
We voegen deze benchmarks samen in de Conceptual Reasoning Index (CRI), beschikbaar op conceptualreasoning.ai, waar ook meer details over onze methodologie te vinden zijn. We houden de website up-to-date naarmate er nieuwe modellen en benchmarks worden uitgebracht. Dit werk is uitgevoerd in samenwerking met Anthropic.
---
Achtergrond
Zodra modellen werk kunnen verrichten dat AI-risico's vermindert op het niveau van menselijke experts, zou de (door AI ondersteunde) output op dit gebied de niet-ondersteunde menselijke output kunnen overtreffen. Dit suggereert dat een belangrijke bepalende factor voor het tijdig aanpakken van AI-risico's is hoe vroeg we dit werk kunnen automatiseren of verbeteren ten opzichte van risicovolle capaciteiten. Een manier om dit te beïnvloeden, is door selectief de relevante vaardigheden van modellen te verbeteren, zoals het redeneren over hoe AI bestuurd en afgestemd (alignment) kan worden en hoe catastrofale samenwerkingsfouten waarbij AI betrokken is, kunnen worden vermeden.
Huidige AI-training is sterk afhankelijk van overvloedige data en betrouwbare feedback over de prestaties van het model. Modellen zijn daarom doorgaans minder bekwaam in taken die niet empirisch of wiskundig geverifieerd kunnen worden.¹ Helaas omvat het verminderen van risico's van geavanceerde AI veel van dergelijke taken:
- Veel AI-veiligheidswerk houdt in dat er wordt gereageerd op AI's die over het algemeen krachtiger zijn dan enig mens. Hiervoor is geen duidelijke referentieklasse en is er geen heldere manier om dit te modelleren.
- Sommige zaken moeten we in één keer goed doen. Als een fout bijvoorbeeld leidt tot een AGI-overname of een door AI ondersteunde staatsgreep, merken we dat mogelijk pas wanneer het te laat is. Evenzo spelen veel beslissingen (bijv. welke onderzoekagenda's prioriteit krijgen, welke bestuursinterventies worden nagestreefd) zich af over lange tijdsschalen, waardoor empirische feedback mogelijk niet vroeg genoeg arriveert om nuttig te zijn.
- Ten slotte missen sommige belangrijke vragen, zoals welke waarden AI's zouden moeten hebben, volledig een objectieve waarheid (ground truth), terwijl we nog steeds geloven dat er vooruitgang kan worden geboekt door over deze vragen te debatteren.
Gezien deze eigenschappen kunnen inspanningen om risico's van geavanceerde AI te verminderen, bijzonder profiteren van een verbeterd vermogen om te redeneren over vragen waarbij empirisch bewijs beperkt is, er geen (praktisch) verifieerbaar antwoord is, en men daarom sterk moet leunen op argumentatie. We noemen dit conceptueel redeneren. Om deze capaciteit te verbeteren, moet deze gemeten kunnen worden. Daarom hebben we drie benchmarks gebouwd: LMCA, ACCoRD en DTBench capabilities. Daarnaast hebben we een aggregaat van deze benchmarks geconstrueerd, de Conceptual Reasoning Index (CRI), om een beeld te geven van de algemene conceptuele redeneercapaciteiten van modellen.
---
Onze benchmarks
LMCA
LMCA (Language Model Conceptual Argumentation) is een dataset van gecureerde en door experts beoordeelde conceptuele argumenten over een divers scala aan onderwerpen, waaronder beslisterie, filosofie en risico's van geavanceerde AI. Door ons te richten op argumenten omzeilen we de moeilijkheid van het verifiëren van definitieve antwoorden op conceptuele vragen.
De dataset bevat 560 positionsteksten met 1.461 argumenten tegen deze teksten. Bijna alle² argumenten zijn beoordeeld door conceptueel onderzoeker Emery Cooper, en sommige werden onafhankelijk beoordeeld door ten minste één andere onderzoeker, voor een totaal van 2.140 beoordelingen. We meten hoe goed modellen zijn in het beoordelen van argumenten tegen positionsteksten door hun beoordelingen te vergelijken met die van ons.
De beoordelingen volgen een gedetailleerd rubric. Bij argumenten die door ten minste twee personen zijn beoordeeld, is de overeenstemming tussen beoordelaars hoog in vergelijking met de overeenstemming tussen mensen en modellen. Dit omvat een validatieset van ongeveer 50 argumenten, die elk onafhankelijk door 4–6 personen zijn beoordeeld en vervolgens in totaal 7–8 uur zijn besproken.
LMCA maakt het ook mogelijk om het argumentatievermogen van modellen te evalueren. Stel dat een positionstekst in onze dataset drie beoordeelde argumenten bevat. We kunnen model A dan vragen om een vierde argument tegen de positionstekst te genereren. Vervolgens geven we model B het rubric en een few-shot prompt met de drie bestaande argumenten en hun scores, waarbij we model B vragen om het nieuwe argument van model A te beoordelen. Deze methodologie levert redelijk nauwkeurige scores op van model B.
Momenteel wordt alleen de prestatie van modellen bij het beoordelen van argumenten meegenomen in de CRI, maar we hopen in de toekomst ook een meting van het argumentatievermogen toe te voegen.
ACCoRD
ACCoRD (Assessment of Consistency in Conceptual Reasoning Domains) meet in hoeverre de gerapporteerde overtuigingen en voorkeuren van modellen over conceptuele kwesties logisch consistent zijn. Bijvoorbeeld: als we een model vragen naar de waarschijnlijkheid $P(A)$ en een andere instantie van hetzelfde model naar de waarschijnlijkheid $P(A\&B)$, voldoen de gerapporteerde waarschijnlijkheden dan aan $P(A) \ge P(A\&B)$? Alle consistentie-beperkingen in de dataset vragen modellen om ofwel numerieke waarschijnlijkheidsschattingen of voorkeursordeningen.
Een gebrek aan consistentie op een specifieke set vragen is een goede indicator dat we het redeneren van een model over die set standaard niet kunnen vertrouwen. Evenzo is het een teken dat het conceptueel redeneren tekortschiet als een model over het algemeen zeer inconsistent is op conceptuele kwesties.
De ACCoRD-dataset bevat bijna 14.000 door modellen gegenereerde consistentie-beperkingen, verdeeld over 18 soorten beperkingen, die door een geautomatiseerde controlepipeline zijn gegaan. Hiervan werden er 567 verder gecontroleerd en goedgekeurd door ons team. Alleen deze 567 beperkingen zijn opgenomen in onze geaggregeerde prestatieindex voor conceptueel redeneren, de CRI.
DTBench
DTBench capabilities (Decision Theory Benchmark) is een dataset van 407 handmatig gemaakte meerkeuzevragen, ontworpen om het vermogen van modellen te meten om te redeneren over beslisterie-situaties die betrekking hebben op getrouwe voorspellingen van het eigen gedrag van een model of interacties met (bijna) kopieën. De overgrote meerderheid van de vragen is origineel en is gemaakt door Caspar Oesterheld, die heeft gepubliceerd over beslisterie. Alle vragen zijn onafhankelijk gevalideerd door Emery Cooper, eveneens een domeinexpert.
De volledige DTBench-suite bevat daarnaast 130 vragen die de beslisterie-houdingen van modellen meten. Deze zijn niet opgenomen in de CRI.
---
Resultaten
De resultaten tonen de CRI-scores van de beste modellen van Anthropic en het hoogst scorende model van elk ander geëvalueerd AI-bedrijf, per 10 augustus 2026. We hebben ook scores opgenomen voor Claude Fable 5, Muse Spark 1.2 en Gemini 3.6 Flash; dit zijn de topmodellen van hun respectievelijke bedrijven op veel externe benchmarks, hoewel niet op de CRI.
De CRI is momenteel een gewogen gemiddelde van:
- LMCA (60%)
- ACCoRD (20%)
- DTBench capabilities (20%)
In de toekomst zijn we van plan nieuwe benchmarks aan de index toe te voegen, verzadigde benchmarks uit te faseren en mogelijk de relatieve wegingen aan te passen. Alle modellen werden gedraaid op hun maximale tokenlimieten en inspanningsniveaus. Om de score van Fable 5 te berekenen, gebruikten we Opus 5 als fallback in gevallen waarin Fable 5 weigerde een vraag te beantwoorden.
De scores lopen van 0 tot 100, waarbij 0 overeenkomt met willekeurig gokken en 100 met de hoogst mogelijke score over alle benchmarks. Een LMCA-score van 100 zou betekenen dat het model de menselijke beoordelingen perfect heeft gereproduceerd. Omdat menselijke beoordelingen ruis bevatten, verwachten we dat een model dat maximaal goede LMCA-beoordelingen geeft, ongeveer 85 scoort in plaats van 100, gebaseerd op de overeenstemming tussen experts. Ondertussen verwachten we dat het correct beantwoorden van elke DTBench capabilities-vraag zou leiden tot een score van 100 of zeer dicht bij de 100. Een score van 100 op ACCoRD komt overeen met perfecte consistentie.
Algeheel schatten we het plafond voor prestaties op de CRI op ongeveer 91. Het hoogst scorende model, Opus 5, zit hier nog ver onder met een score van 73,6 (95% BI: ± 2,1). De scores zijn sinds eind 2024 ongeveer lineair gestegen, zonder tekenen van afvlakking.
Het hoogst scorende model op zowel LMCA als ACCoRD zit nog ver onder het geschatte plafond van deze benchmarks. Extrapolerend naar de huidige scores schatten we voorzichtig dat LMCA over ongeveer een jaar zal beginnen te verzadigen. Ondertussen zijn de DTBench capabilities-scores al dicht bij het plafond, waarbij Fable 5 98% van de vragen correct beantwoordde. Over wanneer ACCoRD zal verzadigen, zijn we zeer onzeker.
---
Conclusie
Wij achten het belangrijk en urgent om het vermogen van modellen te verbeteren om werk te verrichten dat de risico's van geavanceerde AI vermindert. Veel van dit werk is conceptueel, wat suggereert dat het verbeteren van het conceptueel redeneren van modellen bijzonder waardevol kan zijn. Hiervoor hebben we drie benchmarks ontwikkeld die we aggregeren in de CRI. We zullen de CRI bijwerken zodra er nieuwe benchmarks worden uitgebracht.
Voor meer informatie en live scores op de CRI, bezoek conceptualreasoning.ai. Voor toegang tot LMCA, onze primaire conceptuele dataset, kunt u het aanvraagformulier indienen.
---
Notities
¹ METR, Frontier Risk Report (februari tot maart 2026), sectie „Agents had significantly worse judgment and reliability than human experts”. In tegenstelling hiermee: „Consistent with our MirrorCode results, publicly reported anecdotes indicate that agents were exceptionally strong on problems that are easily ‘hill-climbable’ — those where progress is cheap to verify and many approaches can be tried cheaply”.
² Een zeer klein aantal argumenten (16 van de 1.461) werd niet beoordeeld door Emery Cooper. Deze werden allemaal beoordeeld door Caspar Oesterheld, die eveneens een conceptueel onderzoeker is.
Introductie van de Conceptual Reasoning Index
Samenvatting
Een kernhoop voor het beheersen van AI-risico's is dat AI ons zal helpen onze situatie te begrijpen, plannen te maken voor de toekomst en risicomitigaties te ontwikkelen. Veel taken die AI's hiervoor moeten uitvoeren, missen praktische empirische feedbackloops en vereisen dat modellen gebruikmaken van het soort argumentatie dat wordt gehanteerd in de filosofie, AI-futurisme en vergelijkbare domeinen. Om deze capaciteiten te evalueren, hebben we een suite van drie benchmarks voor conceptueel redeneren ontwikkeld. Toegang tot onze primaire conceptuele dataset, LMCA, kan worden aangevraagd via het bijbehorende formulier.
We voegen deze benchmarks samen in de Conceptual Reasoning Index (CRI), beschikbaar op conceptualreasoning.ai, waar ook meer details over onze methodologie te vinden zijn. We houden de website up-to-date naarmate er nieuwe modellen en benchmarks worden uitgebracht. Dit werk is uitgevoerd in samenwerking met Anthropic.
---
Achtergrond
Zodra modellen werk kunnen verrichten dat AI-risico's vermindert op het niveau van menselijke experts, zou de (door AI ondersteunde) output op dit gebied de niet-ondersteunde menselijke output kunnen overtreffen. Dit suggereert dat een belangrijke bepalende factor voor het tijdig aanpakken van AI-risico's is hoe vroeg we dit werk kunnen automatiseren of verbeteren ten opzichte van risicovolle capaciteiten. Een manier om dit te beïnvloeden, is door selectief de relevante vaardigheden van modellen te verbeteren, zoals het redeneren over hoe AI bestuurd en afgestemd (alignment) kan worden en hoe catastrofale samenwerkingsfouten waarbij AI betrokken is, kunnen worden vermeden.
Huidige AI-training is sterk afhankelijk van overvloedige data en betrouwbare feedback over de prestaties van het model. Modellen zijn daarom doorgaans minder bekwaam in taken die niet empirisch of wiskundig geverifieerd kunnen worden.¹ Helaas omvat het verminderen van risico's van geavanceerde AI veel van dergelijke taken:
- Veel AI-veiligheidswerk houdt in dat er wordt gereageerd op AI's die over het algemeen krachtiger zijn dan enig mens. Hiervoor is geen duidelijke referentieklasse en is er geen heldere manier om dit te modelleren.
- Sommige zaken moeten we in één keer goed doen. Als een fout bijvoorbeeld leidt tot een AGI-overname of een door AI ondersteunde staatsgreep, merken we dat mogelijk pas wanneer het te laat is. Evenzo spelen veel beslissingen (bijv. welke onderzoekagenda's prioriteit krijgen, welke bestuursinterventies worden nagestreefd) zich af over lange tijdsschalen, waardoor empirische feedback mogelijk niet vroeg genoeg arriveert om nuttig te zijn.
- Ten slotte missen sommige belangrijke vragen, zoals welke waarden AI's zouden moeten hebben, volledig een objectieve waarheid (ground truth), terwijl we nog steeds geloven dat er vooruitgang kan worden geboekt door over deze vragen te debatteren.
Gezien deze eigenschappen kunnen inspanningen om risico's van geavanceerde AI te verminderen, bijzonder profiteren van een verbeterd vermogen om te redeneren over vragen waarbij empirisch bewijs beperkt is, er geen (praktisch) verifieerbaar antwoord is, en men daarom sterk moet leunen op argumentatie. We noemen dit conceptueel redeneren. Om deze capaciteit te verbeteren, moet deze gemeten kunnen worden. Daarom hebben we drie benchmarks gebouwd: LMCA, ACCoRD en DTBench capabilities. Daarnaast hebben we een aggregaat van deze benchmarks geconstrueerd, de Conceptual Reasoning Index (CRI), om een beeld te geven van de algemene conceptuele redeneercapaciteiten van modellen.
---
Onze benchmarks
LMCA
LMCA (Language Model Conceptual Argumentation) is een dataset van gecureerde en door experts beoordeelde conceptuele argumenten over een divers scala aan onderwerpen, waaronder beslisterie, filosofie en risico's van geavanceerde AI. Door ons te richten op argumenten omzeilen we de moeilijkheid van het verifiëren van definitieve antwoorden op conceptuele vragen.
De dataset bevat 560 positionsteksten met 1.461 argumenten tegen deze teksten. Bijna alle² argumenten zijn beoordeeld door conceptueel onderzoeker Emery Cooper, en sommige werden onafhankelijk beoordeeld door ten minste één andere onderzoeker, voor een totaal van 2.140 beoordelingen. We meten hoe goed modellen zijn in het beoordelen van argumenten tegen positionsteksten door hun beoordelingen te vergelijken met die van ons.
De beoordelingen volgen een gedetailleerd rubric. Bij argumenten die door ten minste twee personen zijn beoordeeld, is de overeenstemming tussen beoordelaars hoog in vergelijking met de overeenstemming tussen mensen en modellen. Dit omvat een validatieset van ongeveer 50 argumenten, die elk onafhankelijk door 4–6 personen zijn beoordeeld en vervolgens in totaal 7–8 uur zijn besproken.
LMCA maakt het ook mogelijk om het argumentatievermogen van modellen te evalueren. Stel dat een positionstekst in onze dataset drie beoordeelde argumenten bevat. We kunnen model A dan vragen om een vierde argument tegen de positionstekst te genereren. Vervolgens geven we model B het rubric en een few-shot prompt met de drie bestaande argumenten en hun scores, waarbij we model B vragen om het nieuwe argument van model A te beoordelen. Deze methodologie levert redelijk nauwkeurige scores op van model B.
Momenteel wordt alleen de prestatie van modellen bij het beoordelen van argumenten meegenomen in de CRI, maar we hopen in de toekomst ook een meting van het argumentatievermogen toe te voegen.
ACCoRD
ACCoRD (Assessment of Consistency in Conceptual Reasoning Domains) meet in hoeverre de gerapporteerde overtuigingen en voorkeuren van modellen over conceptuele kwesties logisch consistent zijn. Bijvoorbeeld: als we een model vragen naar de waarschijnlijkheid $P(A)$ en een andere instantie van hetzelfde model naar de waarschijnlijkheid $P(A\&B)$, voldoen de gerapporteerde waarschijnlijkheden dan aan $P(A) \ge P(A\&B)$? Alle consistentie-beperkingen in de dataset vragen modellen om ofwel numerieke waarschijnlijkheidsschattingen of voorkeursordeningen.
Een gebrek aan consistentie op een specifieke set vragen is een goede indicator dat we het redeneren van een model over die set standaard niet kunnen vertrouwen. Evenzo is het een teken dat het conceptueel redeneren tekortschiet als een model over het algemeen zeer inconsistent is op conceptuele kwesties.
De ACCoRD-dataset bevat bijna 14.000 door modellen gegenereerde consistentie-beperkingen, verdeeld over 18 soorten beperkingen, die door een geautomatiseerde controlepipeline zijn gegaan. Hiervan werden er 567 verder gecontroleerd en goedgekeurd door ons team. Alleen deze 567 beperkingen zijn opgenomen in onze geaggregeerde prestatieindex voor conceptueel redeneren, de CRI.
DTBench
DTBench capabilities (Decision Theory Benchmark) is een dataset van 407 handmatig gemaakte meerkeuzevragen, ontworpen om het vermogen van modellen te meten om te redeneren over beslisterie-situaties die betrekking hebben op getrouwe voorspellingen van het eigen gedrag van een model of interacties met (bijna) kopieën. De overgrote meerderheid van de vragen is origineel en is gemaakt door Caspar Oesterheld, die heeft gepubliceerd over beslisterie. Alle vragen zijn onafhankelijk gevalideerd door Emery Cooper, eveneens een domeinexpert.
De volledige DTBench-suite bevat daarnaast 130 vragen die de beslisterie-houdingen van modellen meten. Deze zijn niet opgenomen in de CRI.
---
Resultaten
De resultaten tonen de CRI-scores van de beste modellen van Anthropic en het hoogst scorende model van elk ander geëvalueerd AI-bedrijf, per 10 augustus 2026. We hebben ook scores opgenomen voor Claude Fable 5, Muse Spark 1.2 en Gemini 3.6 Flash; dit zijn de topmodellen van hun respectievelijke bedrijven op veel externe benchmarks, hoewel niet op de CRI.
De CRI is momenteel een gewogen gemiddelde van:
- LMCA (60%)
- ACCoRD (20%)
- DTBench capabilities (20%)
In de toekomst zijn we van plan nieuwe benchmarks aan de index toe te voegen, verzadigde benchmarks uit te faseren en mogelijk de relatieve wegingen aan te passen. Alle modellen werden gedraaid op hun maximale tokenlimieten en inspanningsniveaus. Om de score van Fable 5 te berekenen, gebruikten we Opus 5 als fallback in gevallen waarin Fable 5 weigerde een vraag te beantwoorden.
De scores lopen van 0 tot 100, waarbij 0 overeenkomt met willekeurig gokken en 100 met de hoogst mogelijke score over alle benchmarks. Een LMCA-score van 100 zou betekenen dat het model de menselijke beoordelingen perfect heeft gereproduceerd. Omdat menselijke beoordelingen ruis bevatten, verwachten we dat een model dat maximaal goede LMCA-beoordelingen geeft, ongeveer 85 scoort in plaats van 100, gebaseerd op de overeenstemming tussen experts. Ondertussen verwachten we dat het correct beantwoorden van elke DTBench capabilities-vraag zou leiden tot een score van 100 of zeer dicht bij de 100. Een score van 100 op ACCoRD komt overeen met perfecte consistentie.
Algeheel schatten we het plafond voor prestaties op de CRI op ongeveer 91. Het hoogst scorende model, Opus 5, zit hier nog ver onder met een score van 73,6 (95% BI: ± 2,1). De scores zijn sinds eind 2024 ongeveer lineair gestegen, zonder tekenen van afvlakking.
Het hoogst scorende model op zowel LMCA als ACCoRD zit nog ver onder het geschatte plafond van deze benchmarks. Extrapolerend naar de huidige scores schatten we voorzichtig dat LMCA over ongeveer een jaar zal beginnen te verzadigen. Ondertussen zijn de DTBench capabilities-scores al dicht bij het plafond, waarbij Fable 5 98% van de vragen correct beantwoordde. Over wanneer ACCoRD zal verzadigen, zijn we zeer onzeker.
---
Conclusie
Wij achten het belangrijk en urgent om het vermogen van modellen te verbeteren om werk te verrichten dat de risico's van geavanceerde AI vermindert. Veel van dit werk is conceptueel, wat suggereert dat het verbeteren van het conceptueel redeneren van modellen bijzonder waardevol kan zijn. Hiervoor hebben we drie benchmarks ontwikkeld die we aggregeren in de CRI. We zullen de CRI bijwerken zodra er nieuwe benchmarks worden uitgebracht.
Voor meer informatie en live scores op de CRI, bezoek conceptualreasoning.ai. Voor toegang tot LMCA, onze primaire conceptuele dataset, kunt u het aanvraagformulier indienen.
---
Notities
¹ METR, Frontier Risk Report (februari tot maart 2026), sectie „Agents had significantly worse judgment and reliability than human experts”. In tegenstelling hiermee: „Consistent with our MirrorCode results, publicly reported anecdotes indicate that agents were exceptionally strong on problems that are easily ‘hill-climbable’ — those where progress is cheap to verify and many approaches can be tried cheaply”.
² Een zeer klein aantal argumenten (16 van de 1.461) werd niet beoordeeld door Emery Cooper. Deze werden allemaal beoordeeld door Caspar Oesterheld, die eveneens een conceptueel onderzoeker is.
Groetjes,