SlopCodeBench update oktober 2026: Update Opus 5.5, Astra verbetert met 1,5% ten opzichte van GPT-5.5, XHigh als schadelijk beschouwd
Noot: Dit is Deel I van ons verslag van oktober 2026 over de status van 'slop' in het vierde kwartaal. Gabe en het SlopCodeBench-team zullen in Deel II hun analyse en een kwalitatieve diepteanalyse van slop-patronen delen.
Overzicht
In mei, de laatste keer dat SCB werd gepubliceerd, behaalde GPT-5.5 een strikt slagingspercentage (strict pass rate) van 14,8% op SlopCodeBench. Deze maand heb ik de nieuwste frontier-modellen door dezelfde campagnes gehaald; de hoogste scoreur was GPT-6 Astra met 16,3%.
Hoewel de benchmark verschillende slagingspercentages rapporteert, richten wij ons op de strict pass rate: in hoeveel checkpoints slaagde het model voor elke testcase, terwijl alle regressietests werden behaald? De frontier-modellen die we hier testten, hadden strikte slagingspercentages in de range van 12,2% tot 16,3%:
- Opus 5.5
- Fable 5.1
- SOL 6 en 6.1
- Astra
- GLM 5.3
Ter vergelijking rapporteert de benchmark ook een core pass rate, die minder strikt is en voor deze modellen tussen de 65,8% en 74,0% ligt.
Een interessant punt dat ik verder zal uitdiepen: 'medium effort' presteerde bij sommige nieuwere modellen beter dan 'XHigh'. XHigh kost 2,11 tot 4,22 keer zoveel als Medium in de drie volledige paren. Meest opvallend is dat Opus 5.5 beter presteerde bij medium effort dan bij XHigh.
De afgelopen maanden heb ik subsets van de benchmark gedraaid (eerst drie problemen, daarna zes). Deze keer gebruikten we 36 problemen en 196 checkpoints per instelling. Omdat we eerder subsets gebruikten, kunnen we die niet gebruiken om verbetering of achteruitgang te meten. De volledige benchmark stelt ons wel in staat deze resultaten te vergelijken met de officiële onderzoeksbevindingen. Dit betekent ook dat de score van 30% voor Fable 5 uit eerdere tests niet vergelijkbaar is, omdat die slechts 6 van de 36 problemen besloeg.
Achtergrond van SlopCodeBench (SCB)
SlopCodeBench legt een coding agent een probleem voor in verschillende fasen. Het model schrijft een programma, ontvangt nieuwe vereisten en past de bestaande code aan. Latere checkpoints testen zowel het nieuwe gedrag als het oude gedrag.
Het idee hierachter is dat dit nauwkeuriger weerspiegelt hoe software in de werkelijkheid wordt gebouwd: met onduidelijke en evoluerende vereisten gedurende het bouwproces.
Technische details voor reproductie:
- Catalogus: gepinde v1.0
- Prompt: standaard 'just-solve' prompt
- Seed: 42
- Pass policy: any-case runner
- Omgeving: Docker met Python 3.12 en uv.
Elk model en elke effort-instelling is één keer gedraaid. Elk checkpoint bouwt voort op de code van eerdere checkpoints. Sommige problemen hebben meer checkpoints dan andere; aangezien elk checkpoint gelijk weegt in het slagingspercentage, wegen problemen met meer checkpoints zwaarder.
Core versus Strict pass rates
- Strict: Alle testcategorieën zijn geslaagd, inclusief Regressie.
- Core: Alle tests in een niet-lege Core-categorie zijn geslaagd. Bijvoorbeeld: als een model faalt voor checkpoint 2, kan het nog steeds een 'core pass' halen voor een later checkpoint, zelfs als de tests van checkpoint 2 nog steeds falen.
Resultaten van de volledige campagne
| Campagne | Strict passes | Strict rate | Core rate | Geschatte kosten |
|---|---|---|---|---|
| GPT-6 Astra XHigh | 32/196 | 16,33% | 69,39% | $758,62 |
| GPT-6 SOL Medium | 30/196 | 15,31% | 67,86% | $245,69 |
| GPT-6 Astra Medium | 29/196 | 14,80% | 66,33% | $261,05 |
| GPT-6.1 SOL Medium | 29/196 | 14,80% | 65,82% | $178,51 |
| Opus 5.5 Medium | 28/196 | 14,29% | 73,98% | $193,47 |
| GPT-5.6 SOL XHigh | 28/196 | 14,29% | 70,92% | $753,30 |
| Fable 5.1 XHigh | 26/196 | 13,27% | 72,45% | $1.550,07 |
| GPT-6 SOL XHigh | 26/196 | 13,27% | 68,37% | $517,32 |
| Opus 5.5 XHigh | 25/196 | 12,76% | 71,94% | $817,04 |
| GLM 5.3 XHigh | 24/196 | 12,24% | 66,33% | $365,13 |
Astra XHigh heeft in dit overzicht de meeste strikte passes, maar de voorsprong op SOL 6.1 Medium is slechts twee checkpoints. Opus Medium voert de lijst aan wat betreft Core-succes (145/196), maar haalt slechts 28/196 strikte passes.
Meer inspanning betekent meer kosten, maar niet noodzakelijkerwijs betere resultaten
XHigh is in alle drie de paren duurder, maar het strikte succes stijgt alleen voor Astra. Deze enkele runs isoleren 'effort' niet als de enige oorzaak.
| Model | Strict: Medium → XHigh | Core: Medium → XHigh | Kosten multiplier (est.) |
|---|---|---|---|
| Opus 5.5 | 28 → 25 | 145 → 141 | 4,22x |
| GPT-6 SOL | 30 → 26 | 133 → 134 | 2,11x |
| GPT-6 Astra | 29 → 32 | 130 → 136 | 2,91x |
Dit bewijst niet dat meer redenering (reasoning) coderen schaadt, maar het laat wel zien dat een hogere effort in deze runs geen betrouwbare manier was om meer strikte passes te kopen. Eén campagne per instelling kan niet onthullen hoeveel variatie er is tussen verschillende runs.
De geschatte kosten variëren van $178,51 tot $1.550,07 binnen een range van 12,24% tot 16,33% strikte score. GPT-6.1 Medium had de laagste kosten ($178,51) met hetzelfde aantal strikte passes als Astra Medium. De schatting voor Fable is ongeveer 8,68 keer zo hoog, met drie strikte passes minder.
De uiteindelijke code faalt nog steeds op tests
Het behalen van checkpoints is niet hetzelfde als eindigen met een werkend programma. In de onderstaande tabel telt alleen het laatste checkpoint van elk probleem.
| Campagne | Strict final checkpoints (van 36) | Gefaalde testcases (totaal) | Waarvan Regressie |
|---|---|---|---|
| GPT-6 Astra XHigh | 3 | 1.435 | 1.178 |
| GPT-6 Astra Medium | 1 | 1.747 | 1.516 |
| GPT-6 SOL XHigh | 1 | 1.651 | 1.366 |
| GPT-6 SOL Medium | 1 | 2.831 | 2.479 |
| GPT-6.1 SOL Medium | 3 | 2.757 | 2.404 |
| GPT-5.6 SOL XHigh | 2 | 2.727 | 2.376 |
| Fable 5.1 XHigh | 1 | 2.463 | 2.126 |
| Opus 5.5 Medium | 0 | 2.508 | 2.206 |
| Opus 5.5 XHigh | 1 | 2.446 | 2.123 |
| GLM 5.3 XHigh | 1 | 2.748 | 2.311 |
Bevindingen over codekwaliteit - 'Slop'
De modellen lieten veel 'junk' en kladcode achter tijdens het werken. In overleg met Gabe is besloten dat de benchmark moet meten hoeveel rommel modellen in de codebase achterlaten. Tests, kladcode en gegenereerde kopieën mogen geen 'free pass' krijgen, simpelweg omdat ze niet het hoofdprogramma zijn.
Er is een vaste lijst met mapnamen gebruikt om geïnstalleerde pakketten, virtuele omgevingen en caches uit te sluiten van beide analyses.
De resultaten analyseren alle achtergebleven code. Ter vergelijking zijn dezelfde metrieken berekend na het verwijderen van een vaste lijst met tijdelijke en gegenereerde bestanden. Deze cijfers beslaan 28 problemen voor alle tien de runs (bij acht problemen kon de scanner de bestanden niet volledig meten).
Berekening van het percentage 'slop':
- De scanner markeert slop-patronen en herhaalde code per bestand.
- 'Coverage' is het aandeel bronregels dat door deze checks is gemarkeerd.
- Elke regel wordt slechts één keer geteld.
- De totale gemarkeerde regels worden gedeeld door het totaal aantal bronregels over alle 28 problemen. Grotere programma's wegen dus zwaarder.
Opus XHigh heeft het laagste slop-percentage op 77,75%, tegenover 94,25% voor Opus Medium. Opvallend is dat de XHigh-versie opnieuw minder strikte passes heeft (25 tegenover 28). Hoewel Opus 5.5 Medium meer strikte passes haalde, schreef Opus 5.5 XHigh code die bijna 5 keer schoner was.
Het is mogelijk dat nieuwere modellen nieuwe slop-patronen vertonen, aangezien de oorspronkelijke batterij van 200+ linters is gebaseerd op patronen uit maart en mei 2026.
Filtering: Voor de gefilterde score zijn mappen met namen als work, tmp, temp, scratch, generated, build, of dist, en bestanden zoals pb2.py en pb2grpc.py weggelaten. In deze runs verwijderde het filter alleen work bestanden: 45 bestanden en 41.265 bronregels, allen afkomstig van de dynamicbuffer code van Opus Medium. Het totaal aantal regels daalde van 216.881 naar 175.616, en de slop-presence daalde naar 92,90%. Het blijft echter het model met de hoogste slop-presence.
Complexiteit
Fable heeft de laagste gemiddelde complexiteit (3,57); GPT-6 SOL Medium de hoogste (11,70). Functies en methoden krijgen elk één stem. Zoals verwacht kan het opsplitsen van code in meer hulpfuncties de gemiddelde complexiteit verlagen, zonder dat de code daadwerkelijk makkelijker aanpasbaar wordt.
Conclusie
De volledige benchmark is lastig op een manier die voor mij relevant is: agents krijgen het hoofdgedrag veel vaker correct dan dat ze alle geteste functionaliteiten werkend houden terwijl de vereisten veranderen.
We worden beter in het onderhouden van een codebase over tijd (van 14,8% naar 16,3% tussen mei en september), maar niet zo snel als sommigen willen doen geloven. Ik denk dat we voorlopig nog een tijdje handmatig aan de knoppen moeten blijven draaien om de boel draaiende te houden.
***
Noot: Dit is Deel I van ons verslag van oktober 2026 over de status van 'slop' in het vierde kwartaal. Gabe en het SlopCodeBench-team zullen in Deel II hun analyse en een kwalitatieve diepteanalyse van slop-patronen delen.
Groetjes,