Waarom machine learning research agents niet overfitten — en wat compressie hiermee te maken heeft

Door Martin Bertran Lopez en Aaron Roth 10 september 2026

Belangrijkste inzichten

• ML-modellen overfitten geen benchmarks, zelfs niet na vele ronden van iteratieve verbetering. Dit spreekt de voorspellingen uit tekstboeken tegen, die stellen dat het herhaaldelijk evalueren tegen dezelfde uitgesloten data (held-out data) zou moeten leiden tot overfitting.
• Experimenten met ML-onderzoeksagents wijzen erop dat succesvolle strategieën zeer goed comprimeerbaar zijn. Wanneer de strategie van een succesvolle agent door een informatie-bottleneck wordt geperst (tot slechts 16 tokens), kan een nieuwe agent zonder geheugen de prestaties van de oorspronkelijke agent reproduceren. Dit betekent dat de strategie een echte structuur heeft vastgelegd en niet simpelweg data heeft gememoriseerd.
• Compressie biedt zowel een verklaring als een diagnostisch hulpmiddel. Strategieën die daadwerkelijk overfitten, falen bij de compressietest: hun specifiek op de validatieset gebaseerde winst verdwijnt wanneer ze door de bottleneck worden gehaald.
• LLM's zijn krachtige compressie-decoders. Omdat ze over een enorme hoeveelheid wereldkennis beschikken, kunnen ze volledige ML-pipelines reconstrueren vanuit beknopte prompts in deskundigen-shorthand. Dit is een concrete manier om te begrijpen waarom ze zo bekwaam zijn.

---

Machine learning draait in de kern om generalisatie, niet om memorisatie. Je voert een leeralgoritme een stapel trainingsvoorbeelden en gebruikt deze om een model te fitten. Het doel is echter niet om goed te presteren op de trainingsvoorbeelden — dat is eenvoudig, je zou de antwoorden gewoon kunnen onthouden. Het doel is om goed te presteren op nieuwe voorbeelden die je nog nooit eerder hebt gezien. Als een model goed presteert op de data waarop het is getraind, maar slecht op nieuwe data, heeft het eigenlijk niets geleerd; je hebt jezelf slechts voorgetoverd dat het dat wel deed. Deze foutmodus heeft een naam: overfitting.

Iedereen die een inleidende cursus statistiek of machine learning heeft gevolgd, kent de standaardverdediging. Je houdt een deel van je data apart en weigert hierop te trainen. In de praktijk vervult deze apartgehouden data twee rollen:

1. Een validatieset: deze raadpleeg je herhaaldelijk tijdens het bouwen van het model om kandidaten te vergelijken, hyperparameters af te stemmen en te beslissen wat de volgende stap is.
2. Een uiteindelijke testset (of holdout): deze is bedoeld om slechts één keer te worden geraadpleegd, helemaal aan het einde. Omdat de trainingsprocedure deze set nooit heeft gezien, is een sterke prestatie hier een correcte proxy voor de nieuwe voorbeelden die je in de praktijk zult tegenkomen.

De "holdout"-conditie is echter cruciaal. De garantie dat de testset een correcte proxy is, geldt alleen als de set echt ongezien blijft. Als je je prestaties erop controleert, je trainingsprocedure daarop aanpast, opnieuw controleert en dit proces herhaalt om steeds betere cijfers te behalen, is die set niet langer ongezien; het is onderdeel geworden van je trainingsprocedure. Als je dit vaak genoeg doet, kun je deze set overfitten, net zoals je de trainingsset zou overfitten, en verlies je je proxy voor onbekende data. Dit geldt voor elke apartgehouden set die op deze manier wordt hergebruikt, inclusief de validatieset, die per definitie wordt hergebruikt.

Een puzzel in het hart van machine learning

Echt onderzoek naar machine learning ziet er precies uit als de iteratieve verbeteringslus die we zojuist hebben beschreven. Iedereen meet prestaties aan de hand van een handvol benchmark-datasets die jarenlang ongewijzigd blijven. De onderzoeksgemeenschap herhaalt een enorme, gedistribueerde lus: een model evalueren op de benchmark, de trainingsprocedure herzien, opnieuw evalueren, publiceren, en vervolgens een andere groep laten proberen om nog een kleine verbetering te behalen.

Dit is precies het soort "hill-climbing" tegen een apartgehouden set dat, volgens het tekstboek, zou moeten leiden tot wijdverspreide overfitting. Tegenwoordig zouden de leaderboards verzadigd moeten zijn met modellen die geweldig presteren op de benchmark, maar middelmatig overal elders.

En toch gebeurt dat niet. Studies die volledig nieuwe testsets bouwen voor oude, zwaar hergebruikte benchmarks, hebben aangetoond dat verbeteringen grotendeels overdraagbaar zijn: op de nieuwe data vertonen modellen dezelfde winst als op de oude benchmark. Benchmark-gestuurd machine learning heeft, tegen de voorspelling van het tekstboek in, geleid tot snelle en grotendeels reële vooruitgang. Waarom?

Er is geen tekort aan hypothesen, maar deze waren moeilijk empirisch te testen, omdat het "onderwerp" van het experiment de gehele menselijke onderzoeksgemeenschap is. Je kunt een vakgebied niet resetten, het geheugen wissen en het laatste decennium onder gecontroleerde omstandigheden opnieuw afspelen.

Maar we kunnen iets soortgelijks doen. We hebben nu capabele, op LLM's gebaseerde research agents die autonoom dezelfde machine-learning-optimalisatielussen kunnen draaien als menselijke gemeenschappen. Ze houden zich bezig met dezelfde benchmark-hill-climbing — en, intrigerend genoeg, lijken zij ook niet te overfitten. Het verschil is dat een agent, in tegenstelling tot een onderzoeksgemeenschap, gereset kan worden. Je kunt zijn geheugen wissen, precies controleren welke informatie hij ziet en het experiment opnieuw uitvoeren. In een recent paper, "What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents", doen we precies dat — en bieden we daarmee een concrete verklaring voor dit langdurige mysterie.

Occams scheermes, gepreciseerd

De verklaring begint met een zeer oud idee. Occams scheermes stelt dat, van alle hypothesen die de data even goed verklaren, de eenvoudigste waarschijnlijk de juiste is. Het blijkt dat deze intuïtie een precieze wiskundige vorm heeft, en dat is de basis van dit hele verhaal.

Stel dat je je hypothese — je model, je strategie — kunt beschrijven in een klein aantal bits, veel minder dan er nodig zou zijn om de trainingsdata te memoriseren. Als die compacte hypothese zeer goed presteert op de trainingsdata, moet deze ook goed presteren op nieuwe data.

Occams scheermes, geformaliseerd: Onder hypothesen die de data even goed verklaren, is de eenvoudigere — beschrijfbaar in minder bits — waarschijnlijker dat deze generaliseert naar nieuwe voorbeelden.

De redenering volgt uit een teltelling-argument. Er zijn simpelweg niet veel korte beschrijvingen, omdat er niet veel korte strings zijn. Hoe minder kandidaat-hypothesen er zijn, hoe kleiner de kans dat een van hen je door puur geluk heeft misleid op de trainingsset, zelfs als je de trainingsset hebt gebruikt om je zoektocht te sturen.

Een andere manier om dit te begrijpen: als je gecomprimeerde beschrijving te klein is om de trainingsdata stiekem op te slaan, dan kan het, wanneer deze goed presteert op de trainingsdata, niet komen doordat de antwoorden zijn gememoriseerd — er was simpelweg geen ruimte voor. Het moet komen doordat er iets wezenlijks is vastgelegd over de structuur van de data. Korte beschrijvingen kunnen niet valsspelen omdat er geen ruimte is.

Hier is een aantrekkelijke hypothese: succesvolle machine learning-strategieën zijn zeer goed comprimeerbaar. Een onderzoeker kan tijdens een project naar duizenden benchmark-scores staren, maar de strategie die uiteindelijk overleeft is meestal een korte lijst van bekende keuzes — een architectuurfamilie, een optimizer, een learning-rate schema, een recept voor data-handling, een regularisatieschema. Als dat uiteindelijke recept in slechts een paar bits kan worden gecommuniceerd, dan is de werkelijke afhankelijkheid van het model van de benchmark veel kleiner dan het lange, kronkelige verslag van experimenten suggereert. De hill-climbing was uitgebreid, maar het resultaat was — of had kunnen zijn — minuscuul.

Compressie, intelligentie en de kracht van een deskundige luisteraar

Stel je voor dat je een specifieke machine learning-pipeline probeert uit te leggen aan een intelligente middelbare scholier, in voldoende detail zodat zij deze daadwerkelijk kunnen reproduceren. Dat zou een langdurig en moeizaam gesprek zijn. Je zou moeten uitleggen wat gradient descent is, wat een neuraal netwerk is, wat PyTorch, JAX of TensorFlow doet, wat een learning rate is, enzovoort. Bijna niets daarvan is specifiek voor jouw probleem; het is algemene achtergrondkennis over hoe machine learning werkt.

Stel je nu voor dat je dezelfde pipeline uitlegt aan een deskundige ML-engineer. Het gesprek krimpt nu tot een paar zinnen. Je slaat alles over wat als algemene kennis wordt beschouwd en communiceert alleen wat echt specifiek is voor dit probleem: de architectuurkeuze, de batchgrootte, de optimizer, een paar hyperparameters. Hoe meer je luisteraar al weet over de wereld, hoe korter het bericht dat je moet sturen — en hoe agressiever je kunt comprimeren. Geen van deze "wereldkennis" telt tegen je in het Occams-scheermes-argument, omdat je dat allemaal had kunnen opschrijven zonder naar de trainingsset te kijken.

Hier komen Large Language Models (LLM's) in beeld. Moderne LLM's bezitten een enorme hoeveelheid wereldkennis. Ze weten hoe ML-tooling werkt; ze kennen de standaard optimalisatie-algoritmen; ze kennen de conventionele hyperparameterkeuzes en de gebruikelijke standaarden. Als een detail niet wordt gespecificeerd, kunnen ze een aannemelijke waarde invullen. Dat maakt hen buitengewoon goede compressie-decoders: geef een LLM een beknopt bericht van expert-tot-expert, en het kan dit uitpakken tot een volledige, werkende procedure. Als je erover nadenkt, is dit precies waarom ze zo krachtig zijn.

Het experiment: een strategie door een bottleneck persen

Dit suggereert een zuiver experiment. Laat een ML-onderzoeksagent — de explorer — proberen een nieuw machine learning-probleem op te lossen. Geef hem volledige toegang tot een validatieset en laat hem vrij experimenteren en itereren, waarbij hij honderden ronden lang streeft naar een betere validatieprestatie. Hier vervult de validatieset de rol van de benchmark: een herbruikbare holdout die de agent telkens opnieuw raadpleegt. Dit is de hill-climbing lus die zou moeten overfitten.

Vervolgens wordt getest hoe comprimeerbaar de oplossing is. Een tweede agent, de compressor, leest het volledige verslag van het werk van de explorer en probeert de winnende strategie te distilleren tot een zeer korte prompt — slechts een handvol tokens. Die prompt wordt overhandigd aan een derde agent, de reproducer, die de strategie vanaf nul moet implementeren met behulp van alleen de prompt en de trainingsdata. Cruciaal is dat de reproducer geen toegang heeft tot de validatieset, de code van de explorer of diens verslag. De korte prompt is het enige kanaal waarlangs informatie die uit de validatieset is geleerd, kan worden doorgegeven. (In de studie die we in ons paper rapporteren, zijn zowel de compressor als de reproducer Claude-modellen.)

Als de reproducer — startend vanaf nul, gewapend met slechts een paar tokens — de prestaties van de explorer evenaart, dan paste alle validatie-afhankelijke informatie die nodig is om de strategie te specificeren door dat kleine kanaal. De strategie was comprimeerbaar. We noemen dit een certificaat van output-compressie.

Deze opzet heeft een zeer nuttige eigenschap die menselijke onderzoeksgemeenschappen missen: de reproducer kan telkens opnieuw worden gereset. De compressor kan vele verschillende compressies proberen en zien hoe goed elke compressie wordt gedecodeerd, omdat elke poging landt bij een frisse reproducer zonder geheugen van de vorige poging. Het is een beetje als de film Memento — je laat een beknopte notitie achter voor een versie van jezelf wiens geheugen wordt gewist vóór het lezen ervan. Je leert notities te schrijven waar een deskundige maar amnestische kopie van jou op kan handelen; die notities kunnen zeer kort zijn omdat de ontvanger alles wat je niet zegt precies zo invult als jij zou doen.

Wat er aan de andere kant uitkomt

De compressies blijken opmerkelijk klein te zijn. Over acht datasets — variërend van tabulaire classificatie, beeldclassificatie, taalmodellering, diffusiemodellering en reward-modellering — waren prompts van 32 tokens voldoende voor een nieuwe reproducer om de adaptief geoptimaliseerde modellen van de explorer te evenaren voor de overgrote meerderheid van de problemen. Eén taalmodelleringsstrategie overleefde compressie tot slechts 16 tokens zonder verlies in prestaties op de holdout-set.

Hoe zien deze prompts er eigenlijk uit? De meest onthullende voorbeelden bevinden zich precies op de grens van beknoptheid, waar de compressie bijna breekt. In een taalmodellerings-experiment ontdekte de explorer een aangepast GPT-stijl trainingsrecept. Met een budget van 16 tokens was dit nog steeds voldoende voor nieuwe reproducers om de ongecomprimeerde explorer te evenaren:

QKn 12L768 Mu .1 R² b2M 4x

Voor een menselijke lezer ziet dit er cryptisch uit, maar voor een andere ML-agent zegt het iets concreets:

• QKn betekent "QK normalization"
• 12L768 betekent een transformer met 12 lagen en een dimensie van 768
• Mu .1 betekent de Muon-optimizer met een learning rate van 0,1
• R² betekent squared-ReLU activaties
• b2M betekent een batch van twee miljoen tokens
• 4x betekent een verviervoudigd feed-forward blok.

Wordt het budget echter verlaagd naar acht tokens, dan wordt de prompt:

12L768 Mu .1 R²

Nu evenaart de reproducer de explorer niet meer. De ontbrekende stukken specificeerden reële trainingskeuzes die waren gemaakt als functie van de data en die afwijken van de meest voor de hand liggende standaarden. Deze grens toont de limieten van comprimeerbaarheid aan en is belangrijk. Het laat zien dat de reproducer niet alleen slaagt door voorkennis. Een paar gecomprimeerde tokens dragen wezenlijke informatie die uit de data zelf is geleerd, en wanneer die tokens verdwijnen, verdwijnen ook de prestaties.

We hebben ook een reeks experimenten uitgevoerd waarbij een informatie-bottleneck in de andere richting werd opgelegd. In plaats van de output van de explorer te comprimeren, comprimeerden we de input: in plaats van de explorer de numerieke validatiescore van elk model te vertellen, gaven we slechts één bit terug — sloeg dit model het huidige beste model, of niet? Zelfs met slechts één bit feedback per query vond de explorer strategieën die net zo goed waren als die hij vond met volledige numerische scores. Het kanaal tussen de validatieset en de uiteindelijke strategie is in beide richtingen nauw, en de één-bit versie komt zelfs met een rigoureuze wiskundige garantie op generalisatie.

Bedriegers ontmaskeren

Een goede empirische theorie moet falsifieerbaar zijn — en deze is dat. Als een lage mate van overfitting werkelijk wordt verklaard door comprimeerbaarheid, dan zouden modellen die echt overfitten niet comprimeerbaar moeten zijn via deze pipeline.

Om dit te controleren, hebben we agents bewust in overfitting gedwongen door hen directe toegang tot de validatieset te geven en hen aan te sporen de validatieprestaties tegen elke prijs te maximaliseren. De agents trapten in de val: in 38 van de 102 experimentele runs liep de validatienauwkeurigheid meer dan 10% voor op de werkelijke holdout-nauwkeurigheid.

De theorie voorspelt dat deze winst niet zou moeten overleven in de compressie-bottleneck, omdat deze eigenaardigheden van specifieke validatievoorbeelden codeert, en geen overdraagbare structuur. En inderdaad, wanneer ze door een korte prompt naar een nieuwe reproducer werden geperst, verdwenen de specifiek voor de validatie geldende voordelen. Compressie scheidde de legitieme strategieën van de overfittende strategieën met een zeer hoge nauwkeurigheid.

Compressie verklaart dus niet alleen waarom autonome research agents de neiging hebben niet te overfitten, maar biedt ook een instrument om overfitting te detecteren wanneer het wel voorkomt, door de gevallen te markeren waarin geen enkele korte beschrijving het resultaat kan reproduceren.

Wat dit ons vertelt — en wat niet

Een paar kanttekeningen zijn op zijn plaats. Het hele raamwerk gaat ervan uit dat het enige pad van de validatiedata naar het uiteindelijke model loopt via de prompt die we aan de reproducer voeren. Natuurlijk, als een model de validatiedata al had gememoriseerd tijdens de pre-training, zou er een zijkanaal zijn dat de informatie-bottleneck omzeilt. We denken niet dat dit gebeurt in onze experimenten: agents verbeteren geleidelijk door echt zoeken in plaats van direct op hun best te beginnen, en de prestaties verslechteren bij zeer korte token-budgetten. Maar het volledig oplossen van deze vraag zal waarschijnlijk experimenten vereisen met verse datasets die zijn verzameld na de training-cutoff van een model, wat we nog niet hebben gedaan.

Het belangrijkste is dat onze resultaten gaan over LLM-agents, omdat daar het experiment mogelijk is — waar je het subject kunt resetten, de inputs kunt controleren en hun lengte kunt tellen. Maar het beeld dat ze schetsen is sterk suggestief voor menselijke onderzoeksgemeenschappen. Wanneer een vakgebied jarenlang een vaste benchmark beklimt en de winst consistent overdraagbaar blijft naar nieuwe data, kan dat voor dezelfde reden zijn dat de strategieën van de agents een prompt van 32 tokens overleven: de recepten die echt werken, zijn eenvoudig.

Of in andere woorden: "Wat past (in een paar tokens) overfit niet."