In dit artikel reflecteert de auteur op de gebruikerservaring met het AI-model Opus 5 ten opzichte van eerdere versies (4.7, 4.8) en Fable. Hoewel Opus 5 technisch krachtiger is en beter scoort in benchmarks, wordt het ervaren als een 'downgrade' in samenwerking.
De kern van het probleem is dat Opus 5 minder geneigd is om stop te zetten en vragen te stellen bij onduidelijke intenties; in plaats daarvan maakt het model aannames. De auteur speculeert dat dit komt door de focus van frontier labs op benchmark-optimalisatie. Omdat benchmarks zelfvoorzienend zijn, worden modellen beloond die gedurfde aannames doen om tot een antwoord te komen, terwijl dit in real-life scenario's (zoals coding) juist risicovol is en minder wenselijk dan interactieve verduidelijking.
Waarom voelt Opus 5 minder prettig om mee te werken?
Ik beweer niet dat de capaciteiten zijn achteruitgegaan – het is een krachtiger model dan Opus 4.7 en Opus 4.8, en wedijvert in benchmarks zelfs met Fable. Toch voelen die andere modellen prettiger aan om mee te werken. Ik geloof dat dit komt omdat zij:
- stoppen en vragen stellen als mijn intentie onduidelijk was;
- geen aannames doen zonder dit eerst te controleren;
- en mijn plannen niet herinterpreteren of bijwerken zonder daarom te vragen.
Hierdoor is er minder intensieve begeleiding nodig dan bij Opus 5.
Ongefundeerde speculatie
Ik vermoed dat dit het resultaat is van twee elkaar versterkende krachten bij Anthropic, en in het algemeen bij huidige frontier labs.
Ten eerste is er de wens om een zelfverbeterende AI te creëren die in staat is zichzelf recursief op te bouwen naar AGI/ASI.
Ten tweede is er de druk om hoog te scoren op benchmarks. Hoewel het een open geheim is dat veel benchmarktaken slecht gedefinieerd, oneerlijk, manipuleerbaar of op andere wijze gebrekkig zijn, is een goede benchmarktaak wel zelfvoorzienend. De taak kan worden opgelost zonder hints, zonder dat men de gedachten van de maker moet lezen en zonder externe informatie. Dat betekent niet dat een goede taak slechts één correct antwoord kan hebben, maar wel dat alle ondubbelzinnig correcte antwoorden gelijkwaardig gescoord moeten worden.
Het selecteren van modellen die goed presteren op benchmarks (en het trainen daarop of op RLVR-taken in het algemeen) selecteert inherent modellen die gedurfde, meestal correcte aannames doen bij ambiguïteit. Het straft modellen af die de neiging hebben om te stoppen en om verduidelijking of richting te vragen.
Helaas is dat precies wat de meesten van ons willen van een codeer-agent.
Hoe hard je ook probeert, het is vrijwel onmogelijk om de volledige context, intenties, zakelijke implicaties, budgetbeperkingen en overige details volledig op te schrijven en toegankelijk te maken voor een codeer-agent. Er zal onvermijdelijk sprake zijn van ambiguïteit en keuzes die gemaakt moeten worden; het is prettig om te weten dat een agent stopt en vraagt wanneer dat nodig is.
Het echte leven is simpelweg geen benchmark. Er is niet voor elke vraag een gegarandeerd juist antwoord, noch zelfs een set van juiste antwoorden. Met de consequenties van het echte leven op het spel, wil ik niet dat een agent maar een gok doet!
Waarom voelt Opus 5 minder prettig om mee te werken?
Ik beweer niet dat de capaciteiten zijn achteruitgegaan – het is een krachtiger model dan Opus 4.7 en Opus 4.8, en wedijvert in benchmarks zelfs met Fable. Toch voelen die andere modellen prettiger aan om mee te werken. Ik geloof dat dit komt omdat zij:
- stoppen en vragen stellen als mijn intentie onduidelijk was;
- geen aannames doen zonder dit eerst te controleren;
- en mijn plannen niet herinterpreteren of bijwerken zonder daarom te vragen.
Hierdoor is er minder intensieve begeleiding nodig dan bij Opus 5.
Ongefundeerde speculatie
Ik vermoed dat dit het resultaat is van twee elkaar versterkende krachten bij Anthropic, en in het algemeen bij huidige frontier labs.
Ten eerste is er de wens om een zelfverbeterende AI te creëren die in staat is zichzelf recursief op te bouwen naar AGI/ASI.
Ten tweede is er de druk om hoog te scoren op benchmarks. Hoewel het een open geheim is dat veel benchmarktaken slecht gedefinieerd, oneerlijk, manipuleerbaar of op andere wijze gebrekkig zijn, is een goede benchmarktaak wel zelfvoorzienend. De taak kan worden opgelost zonder hints, zonder dat men de gedachten van de maker moet lezen en zonder externe informatie. Dat betekent niet dat een goede taak slechts één correct antwoord kan hebben, maar wel dat alle ondubbelzinnig correcte antwoorden gelijkwaardig gescoord moeten worden.
Het selecteren van modellen die goed presteren op benchmarks (en het trainen daarop of op RLVR-taken in het algemeen) selecteert inherent modellen die gedurfde, meestal correcte aannames doen bij ambiguïteit. Het straft modellen af die de neiging hebben om te stoppen en om verduidelijking of richting te vragen.
Helaas is dat precies wat de meesten van ons willen van een codeer-agent.
Hoe hard je ook probeert, het is vrijwel onmogelijk om de volledige context, intenties, zakelijke implicaties, budgetbeperkingen en overige details volledig op te schrijven en toegankelijk te maken voor een codeer-agent. Er zal onvermijdelijk sprake zijn van ambiguïteit en keuzes die gemaakt moeten worden; het is prettig om te weten dat een agent stopt en vraagt wanneer dat nodig is.
Het echte leven is simpelweg geen benchmark. Er is niet voor elke vraag een gegarandeerd juist antwoord, noch zelfs een set van juiste antwoorden. Met de consequenties van het echte leven op het spel, wil ik niet dat een agent maar een gok doet!
Groetjes,