Anthropic voert experiment uit met 'effort scale' in Claude Code

Waarschijnlijk gaat het om een A/B-test, waardoor niet elke gebruiker deze wijziging merkt. Indien de instelling "high" (hoog) voor een gebruiker aanvoelt als "low" (laag), dan maakt deze persoon deel uit van de testgroep.

Impact op de modelprestaties

Sinds versie 2.1.237 interpreteert het model "high" effort als een score van 10 uit 100. Dit is exact de waarde die voorheen werd gebruikt voor de instelling "low". Dit kan ertoe leiden dat het model minder intelligent overkomt of minder diepgaande analyses uitvoert dan voorheen.

Gebrek aan communicatie en gebruikerservaring

In de changelog wordt geen woord gerept over deze wijziging. Dit heeft geleid tot aanzienlijke verwarring bij ontwikkelaars; er werd tijd besteed aan de overtuiging dat specifieke code (zoals t3 code) of eigen applicaties defect waren, terwijl de oorzaak lag bij de server-side aanpassing van Anthropic.

Reacties uit de community

De onvoorspelbaarheid van dergelijke wijzigingen roept vragen op over de betrouwbaarheid van de dienstverlening, specifiek over hoe men kan werken met een bedrijf dat het product zonder aankondiging aanpast terwijl de gebruiker ermee werkt.