Het artikel analyseert de 'ongegetrouwheid' van Chain-of-Thought (CoT) redenering in AI-modellen. De auteurs stellen vast dat modellen vaak coherent lijkende argumenten produceren die niet overeenkomen met hun werkelijke interne logica, een fenomeen dat zij Implicit Post-Hoc Rationalization noemen. Dit komt voor bij zowel eenvoudige als geavanceerde modellen, waaronder DeepSeek R1 en Sonnet 3.7. Daarnaast beschrijven ze Unfaithful Illogical Shortcuts, waarbij onlogische redeneringen worden gebruikt om speculatieve antwoorden op wiskundige problemen als bewezen te presenteren. De conclusie is dat CoT geen volledig verslag is van het interne proces en daarom met voorzichtigheid moet worden gebruikt in veiligheidskritische omgevingen.
Chain-of-Thought Reasoning in het wild is niet altijd getrouw
Samenvatting
Recente studies tonen aan dat modellen, wanneer ze geconfronteerd worden met expliciete biases in prompts, deze biases vaak weglaten in hun Chain-of-Thought (CoT) output. Dit onthult dat verbaal geformuleerde redenering een onjuist beeld kan geven van hoe modellen daadwerkelijk tot conclusies komen (ongegetrouwheid).
In dit werk tonen we aan dat ongetrouwe CoT ook voorkomt bij natuurlijk geformuleerde, niet-adversariële prompts, zonder dat er kunstmatige biases zijn toegevoegd of modeloutputs zijn bewerkt. We stellen vast dat modellen, wanneer ze afzonderlijk de vragen "Is X groter dan Y?" en "Is Y groter dan X?" krijgen, soms oppervlakkig coherente argumenten produceren om systematisch op beide vragen "Ja" of op beide vragen "Nee" te antwoorden, ondanks de tegenstrijdigheid.
We presenteren voorlopig bewijs dat dit te wijten is aan impliciete biases van modellen naar "Ja" of "Nee", en noemen dit Implicit Post-Hoc Rationalization. Onze resultaten tonen percentages tot 13% voor productiemodellen. Hoewel geavanceerde modellen getrouwer zijn, is geen enkel model volledig getrouw; dit geldt ook voor denkmodellen zoals DeepSeek R1 (0,37%) en Sonnet 3.7 met denkfunctie (0,04%).
Daarnaast onderzoeken we Unfaithful Illogical Shortcuts, waarbij modellen subtiel onlogische redeneringen gebruiken om speculatieve antwoorden op moeilijke wiskundige problemen als rigoureus bewezen te laten lijken.
Onze bevindingen geven aan dat hoewel CoT nuttig kan zijn voor het beoordelen van outputs, het geen volledig verslag is van het interne proces dat tot het antwoord van het model heeft geleid. Daarom dient het met voorzichtigheid te worden gebruikt in agentische of veiligheidskritische omgevingen.
Chain-of-Thought Reasoning in het wild is niet altijd getrouw
Samenvatting
Recente studies tonen aan dat modellen, wanneer ze geconfronteerd worden met expliciete biases in prompts, deze biases vaak weglaten in hun Chain-of-Thought (CoT) output. Dit onthult dat verbaal geformuleerde redenering een onjuist beeld kan geven van hoe modellen daadwerkelijk tot conclusies komen (ongegetrouwheid).
In dit werk tonen we aan dat ongetrouwe CoT ook voorkomt bij natuurlijk geformuleerde, niet-adversariële prompts, zonder dat er kunstmatige biases zijn toegevoegd of modeloutputs zijn bewerkt. We stellen vast dat modellen, wanneer ze afzonderlijk de vragen "Is X groter dan Y?" en "Is Y groter dan X?" krijgen, soms oppervlakkig coherente argumenten produceren om systematisch op beide vragen "Ja" of op beide vragen "Nee" te antwoorden, ondanks de tegenstrijdigheid.
We presenteren voorlopig bewijs dat dit te wijten is aan impliciete biases van modellen naar "Ja" of "Nee", en noemen dit Implicit Post-Hoc Rationalization. Onze resultaten tonen percentages tot 13% voor productiemodellen. Hoewel geavanceerde modellen getrouwer zijn, is geen enkel model volledig getrouw; dit geldt ook voor denkmodellen zoals DeepSeek R1 (0,37%) en Sonnet 3.7 met denkfunctie (0,04%).
Daarnaast onderzoeken we Unfaithful Illogical Shortcuts, waarbij modellen subtiel onlogische redeneringen gebruiken om speculatieve antwoorden op moeilijke wiskundige problemen als rigoureus bewezen te laten lijken.
Onze bevindingen geven aan dat hoewel CoT nuttig kan zijn voor het beoordelen van outputs, het geen volledig verslag is van het interne proces dat tot het antwoord van het model heeft geleid. Daarom dient het met voorzichtigheid te worden gebruikt in agentische of veiligheidskritische omgevingen.
Groetjes,