Het artikel beschrijft methoden om via 'probing' (sonderen) verborgen feiten over de training van grote taalmodellen (LLM's) te ontdekken. De auteur legt uit dat de training van deze modellen doorgaans bestaat uit drie fasen: pre-training, domeinspecifieke verfijning en post-training.
Door middel van historische Wikipedia-quizzen en analyses van zelfgerapporteerde data worden de kennisdeadlines van specifieke modelversies (zoals GPT-5 varianten en Anthropic's Opus) geschat. De resultaten tonen aan dat er vaak verschillen zijn tussen publiek gecommuniceerde deadlines en de werkelijke kennisinhoud.
Daarnaast onderzoekt het artikel de zelfidentificatie van modellen. Hieruit komt naar voren dat labs vaak trainen op outputs van hun eigen eerdere modellen (via gebruikerssessies). Opvallend is dat sommige Claude-modellen zich identificeren als GPT-4, wat wijst op mogelijke contaminatie door ChatGPT-data in de trainingssets van Anthropic.
Onderzoek naar de kennisdeadlines van Claude en GPT en pre-training tijdlijnen
We kunnen verborgen feiten over de training van geavanceerde modellen ontdekken door ze te "sonderen" (probing) met zorgvuldig samengestelde verzoeken.
- Door modellen te scoren op nichefeiten kunnen we een benadering krijgen van hoeveel parameters modellen zoals GPT-5 en Opus hebben, met behulp van "Incompressible Knowledge Probes".
- Door te meten hoe modellen tokens afbreken, kunnen we feiten onthullen over de mengsels van datasets die zijn gebruikt om het model (of in ieder geval de tokenizer) te trainen, middels "Data Mixture Inference".
- Door ze te scoren op vragen over datums of zelfidentificatie kan men ook de trainingsperiodes schatten.
Alle resultaten hierin zijn schattingen. Het is mogelijk dat sommige speculaties in dit artikel onjuist zijn, aangezien er niet veel publiek beschikbare waarheden zijn om tegen te verifiëren.
Hoe geavanceerde modellen worden getraind
De training van massale large language models (LLM's) is geconvergeerd naar drie hoofdfasen:
- Pre-training: Een enorme hoeveelheid algemene data verzamelen (het scrapen van het internet) en een massaal auto-complete model op deze data trainen.
- Domeinspecifieke verfijning: Het gebruik van data van "leerboekkwaliteit" om de basismodellen te verbeteren en specifieke basiscapaciteiten, zoals het begrijpen van lange teksten, uit te breiden.
- Post-training: Het omzetten van het basismodel naar een "assistent"-persona, waarbij de focus ligt op persoonlijkheid, redeneervermogen en het aanroepen van tools (tool-calling).
Hoewel er steeds meer rekenkracht wordt besteed aan post-training om het redeneervermogen en probleemoplossend vermogen te vergroten, is het genereren van het pre-training checkpoint een van de duurste en meest data-intensieve stappen.
In de praktijk ziet dit proces er vaak als volgt uit:
- Het pre-training team start en beheert een run van meerdere maanden om een basischeckpoint te verkrijgen. Deze modellen vormen vaak de basis voor grote versies (bijv. de overgang van GPT-4 naar GPT-5).
- Tegelijkertijd voeren de capability- en post-training teams experimenten uit om het meest recente basismodel te verbeteren. Verbeteringen in deze fase uiten zich vaak als minderhoogwaardige versies van released modellen. Deze teams "distilleren" vaak een enkel post-trained model naar kleinere varianten, wat resulteert in modelfamilies (zoals Fable/Opus/Sonnet/Haiku of Sol/Terra/Luna).
- Het model dat aan het publiek wordt gepresenteerd, is de culminatie van het meest recente checkpoint met de beste set aan capaciteiten en post-training technieken.
Tijdlijnen van modelkennis
Historische quizzen
Om de data van de pre-training checkpoints te schatten, is er een dataset van dagelijkse feiten uit Wikipedia samengesteld. Elk model kreeg een meerkeuzequiz met acht opties over gebeurtenissen op specifieke dagen. Door de foutmarge in de tijdlijn te analyseren, kan men zien wanneer het model het signaal uit zijn trainingsdataset verliest.
Voor GPT-5.4 komt de geschatte kennisdeadline overeen met de door OpenAI gepubliceerde datum. De curve is vloeiend, wat een gevolg is van het feit dat het model redelijk goed in staat is om gebeurtenissen in de nabije toekomst te voorspellen en omdat recente data tijdens de training soms ondervertegenwoordigd zijn.
Op basis van deze analyses volgt hier enkele speculaties:
- Anthropic Opus 4.7 en opvolgers: Deze lijken allemaal uit dezelfde trainingsrun te komen die eind december 2025 stopte. De aanname is dat de voltooiingsdatum van het pre-training basismodel sterk gecorreleerd is met de tijdsspanne van de gebruikte dataset. Het is opvallend dat Opus 4.7+ modellen allemaal een identieke gepubliceerde kennisdeadline hebben, wat mogelijk duidt op een nieuwe post-training techniek.
- OpenAI GPT-5.6 familie: Deze komt waarschijnlijk uit een eigen checkpoint, gescheiden van GPT-5.5, dat rond eind februari 2026 werd voltooid. Dit is af te leiden uit het feit dat ze een andere effectieve kennisdeadline hebben dan eerdere modellen.
- Opus 5: Dit model is ongebruikelijk. De gepubliceerde deadlines zijn mei 2026, maar het lijkt niet meer te weten dan de modellen met een deadline van januari 2026. Tests op code-pakketversies bevestigen dit patroon.
Zelfgerapporteerde data
Wanneer modellen simpelweg wordt gevraagd welke datum het vandaag is, correleert dit redelijk sterk met de op feiten gebaseerde schattingen. (Opmerking: recente OpenAI-modellen zijn hierbij uitgesloten omdat de API de actuele datum automatisch in alle verzoeken injecteert).
In de data vallen verticale stroken op binnen bepaalde modelfamilies:
- GPT-4.1 nano → GPT-4.1 mini → GPT-4.1
- Opus 4.7 → Sonnet 5 → Fable/Opus 5
Als we de pre-training corpus zien als de X-as en het post-trained gedrag als de Y-as, visualiseren deze verticale stroken actieve post-training op datasets met een focus op recente gebeurtenissen. Het is mogelijk dat distillatie van oudere "teacher"-modellen ervoor zorgt dat kleinere modellen oudere data rapporteren.
Zelfgerapporteerde identiteit
Men kan indirect voorspellingen doen over trainingsperiodes door te kijken naar wie de modellen denken dat ze zijn. Hoe vaker een model "Ik ben X" ziet in zijn pre-training dataset, hoe groter de kans dat het dit herhaalt wanneer het wordt gepusht zonder andere context.
Uit onderzoek naar zelfgeclaimde identiteiten komen de volgende patronen naar voren:
- Training op output van eerdere modellen: Er is een duidelijk patroon waarbij labs trainen op outputs van hun eigen eerdere modellen (gegenereerd door gebruikers). Bij OpenAI zijn dit GPT-4, GPT-4o, GPT-4.1 en recenter GPT-5 en "ChatGPT". Bij Anthropic is dit eerst 3.5 Sonnet en later Sonnet 4.5. Dit wijst erop dat chatsessies van ChatGPT.com en Claude.ai direct of via webcontaminatie als trainingsmateriaal worden gebruikt.
- Kruisbestuiving tussen labs: Opvallend is dat OpenAI-modellen zich nooit identificeren als een model van een ander lab (met uitzondering van een kortstondige referentie aan een Tesla Model S). Echter, Anthropic's Sonnet 5 identificeert zich regelmatig als GPT-4. Het is onwaarschijnlijk dat ze bewust GPT-4 distilleren, maar het is mogelijk dat oudere ChatGPT-chats in de Claude-trainingsmix terechtkomen, of dat dit is overgedragen via de lineage van Sonnet 3.5.
In een vervolgexperiment bleek dat wanneer Claudes werden gevraagd om te antwoorden "zoals model X zou doen", ze de meetbare eigenaardigheden van OpenAI-modellen in 68% van de gevallen reproduceerden. OpenAI-modellen slaagden hier slechts in 8% van de gevallen voor de modellen van Claude.
Onderzoek naar de kennisdeadlines van Claude en GPT en pre-training tijdlijnen
We kunnen verborgen feiten over de training van geavanceerde modellen ontdekken door ze te "sonderen" (probing) met zorgvuldig samengestelde verzoeken.
- Door modellen te scoren op nichefeiten kunnen we een benadering krijgen van hoeveel parameters modellen zoals GPT-5 en Opus hebben, met behulp van "Incompressible Knowledge Probes".
- Door te meten hoe modellen tokens afbreken, kunnen we feiten onthullen over de mengsels van datasets die zijn gebruikt om het model (of in ieder geval de tokenizer) te trainen, middels "Data Mixture Inference".
- Door ze te scoren op vragen over datums of zelfidentificatie kan men ook de trainingsperiodes schatten.
Alle resultaten hierin zijn schattingen. Het is mogelijk dat sommige speculaties in dit artikel onjuist zijn, aangezien er niet veel publiek beschikbare waarheden zijn om tegen te verifiëren.
Hoe geavanceerde modellen worden getraind
De training van massale large language models (LLM's) is geconvergeerd naar drie hoofdfasen:
- Pre-training: Een enorme hoeveelheid algemene data verzamelen (het scrapen van het internet) en een massaal auto-complete model op deze data trainen.
- Domeinspecifieke verfijning: Het gebruik van data van "leerboekkwaliteit" om de basismodellen te verbeteren en specifieke basiscapaciteiten, zoals het begrijpen van lange teksten, uit te breiden.
- Post-training: Het omzetten van het basismodel naar een "assistent"-persona, waarbij de focus ligt op persoonlijkheid, redeneervermogen en het aanroepen van tools (tool-calling).
Hoewel er steeds meer rekenkracht wordt besteed aan post-training om het redeneervermogen en probleemoplossend vermogen te vergroten, is het genereren van het pre-training checkpoint een van de duurste en meest data-intensieve stappen.
In de praktijk ziet dit proces er vaak als volgt uit:
- Het pre-training team start en beheert een run van meerdere maanden om een basischeckpoint te verkrijgen. Deze modellen vormen vaak de basis voor grote versies (bijv. de overgang van GPT-4 naar GPT-5).
- Tegelijkertijd voeren de capability- en post-training teams experimenten uit om het meest recente basismodel te verbeteren. Verbeteringen in deze fase uiten zich vaak als minderhoogwaardige versies van released modellen. Deze teams "distilleren" vaak een enkel post-trained model naar kleinere varianten, wat resulteert in modelfamilies (zoals Fable/Opus/Sonnet/Haiku of Sol/Terra/Luna).
- Het model dat aan het publiek wordt gepresenteerd, is de culminatie van het meest recente checkpoint met de beste set aan capaciteiten en post-training technieken.
Tijdlijnen van modelkennis
Historische quizzen
Om de data van de pre-training checkpoints te schatten, is er een dataset van dagelijkse feiten uit Wikipedia samengesteld. Elk model kreeg een meerkeuzequiz met acht opties over gebeurtenissen op specifieke dagen. Door de foutmarge in de tijdlijn te analyseren, kan men zien wanneer het model het signaal uit zijn trainingsdataset verliest.
Voor GPT-5.4 komt de geschatte kennisdeadline overeen met de door OpenAI gepubliceerde datum. De curve is vloeiend, wat een gevolg is van het feit dat het model redelijk goed in staat is om gebeurtenissen in de nabije toekomst te voorspellen en omdat recente data tijdens de training soms ondervertegenwoordigd zijn.
Op basis van deze analyses volgt hier enkele speculaties:
- Anthropic Opus 4.7 en opvolgers: Deze lijken allemaal uit dezelfde trainingsrun te komen die eind december 2025 stopte. De aanname is dat de voltooiingsdatum van het pre-training basismodel sterk gecorreleerd is met de tijdsspanne van de gebruikte dataset. Het is opvallend dat Opus 4.7+ modellen allemaal een identieke gepubliceerde kennisdeadline hebben, wat mogelijk duidt op een nieuwe post-training techniek.
- OpenAI GPT-5.6 familie: Deze komt waarschijnlijk uit een eigen checkpoint, gescheiden van GPT-5.5, dat rond eind februari 2026 werd voltooid. Dit is af te leiden uit het feit dat ze een andere effectieve kennisdeadline hebben dan eerdere modellen.
- Opus 5: Dit model is ongebruikelijk. De gepubliceerde deadlines zijn mei 2026, maar het lijkt niet meer te weten dan de modellen met een deadline van januari 2026. Tests op code-pakketversies bevestigen dit patroon.
Zelfgerapporteerde data
Wanneer modellen simpelweg wordt gevraagd welke datum het vandaag is, correleert dit redelijk sterk met de op feiten gebaseerde schattingen. (Opmerking: recente OpenAI-modellen zijn hierbij uitgesloten omdat de API de actuele datum automatisch in alle verzoeken injecteert).
In de data vallen verticale stroken op binnen bepaalde modelfamilies:
- GPT-4.1 nano → GPT-4.1 mini → GPT-4.1
- Opus 4.7 → Sonnet 5 → Fable/Opus 5
Als we de pre-training corpus zien als de X-as en het post-trained gedrag als de Y-as, visualiseren deze verticale stroken actieve post-training op datasets met een focus op recente gebeurtenissen. Het is mogelijk dat distillatie van oudere "teacher"-modellen ervoor zorgt dat kleinere modellen oudere data rapporteren.
Zelfgerapporteerde identiteit
Men kan indirect voorspellingen doen over trainingsperiodes door te kijken naar wie de modellen denken dat ze zijn. Hoe vaker een model "Ik ben X" ziet in zijn pre-training dataset, hoe groter de kans dat het dit herhaalt wanneer het wordt gepusht zonder andere context.
Uit onderzoek naar zelfgeclaimde identiteiten komen de volgende patronen naar voren:
- Training op output van eerdere modellen: Er is een duidelijk patroon waarbij labs trainen op outputs van hun eigen eerdere modellen (gegenereerd door gebruikers). Bij OpenAI zijn dit GPT-4, GPT-4o, GPT-4.1 en recenter GPT-5 en "ChatGPT". Bij Anthropic is dit eerst 3.5 Sonnet en later Sonnet 4.5. Dit wijst erop dat chatsessies van ChatGPT.com en Claude.ai direct of via webcontaminatie als trainingsmateriaal worden gebruikt.
- Kruisbestuiving tussen labs: Opvallend is dat OpenAI-modellen zich nooit identificeren als een model van een ander lab (met uitzondering van een kortstondige referentie aan een Tesla Model S). Echter, Anthropic's Sonnet 5 identificeert zich regelmatig als GPT-4. Het is onwaarschijnlijk dat ze bewust GPT-4 distilleren, maar het is mogelijk dat oudere ChatGPT-chats in de Claude-trainingsmix terechtkomen, of dat dit is overgedragen via de lineage van Sonnet 3.5.
In een vervolgexperiment bleek dat wanneer Claudes werden gevraagd om te antwoorden "zoals model X zou doen", ze de meetbare eigenaardigheden van OpenAI-modellen in 68% van de gevallen reproduceerden. OpenAI-modellen slaagden hier slechts in 8% van de gevallen voor de modellen van Claude.
Groetjes,