GPT-6 Astra, Looped Transformers en verborgen redenering

Door Sebastian Raschka, PhD 9 september 2026

Er is de afgelopen weken veel gebeurd. Ik ben ervan overtuigd dat OpenAI's GPT-6 Astra momenteel bij iedereen top-of-mind is. In het bijzonder de prestaties, de aspecten van looped transformers/recurrente diepte, en geruchten dat Astra zijn redeneertraject (de chain of thought) "verbergt".

In dit artikel begin ik met enkele korte impressies van Astra en overlevingen over waar dit naartoe gaat. Daarna bespreek ik in detail wat "looped transformers" zijn en of dit verband houdt met het verbergen van chains of thought. Tot slot belicht ik enkele nieuwe inzichten uit recente onderzoekspapers over dit onderwerp.

1. Impressies van GPT-6 Astra

Voordat we ingaan op de architectuurgeruchten en de relevante literatuur, vat ik kort enkele observaties over GPT-6 Astra samen. Vorige week werd het model met veel bombarie uitgebracht. Na intensief gebruik kan ik stellen dat het een uitzonderlijk goed model is, waarschijnlijk het beste dat ik tot nu toe heb gebruikt. Maar wat is er precies verbeterd en hoe?

1.1 Astra-benchmarks

Astra is disproportioneel sterk in 3D-rendering en animatietaken in vergelijking met andere modellen. Hoewel het zijn voorganger, GPT-5.6, in vrijwel alle categorieën (schrijven, wiskunde, coderen) overtreft, is het verschil bij grafische demo's het grootst.

Dit is terug te zien in de benchmarks. Astra presteert zeer goed in wiskunde en coderen. Een van de hoogtepunten is de score van 99,9% op de ARC-AGI-3 benchmark (terwijl GPT-5.6 Sol slechts 7,8% behaalde), die een mix van logische puzzels en generalisatie meet.

Kijkend naar de Artificial Analysis Coding Agent Index v1.4, die diverse agentische codeertaken combineert, bevindt GPT-6 Astra zich aan de frontlinie, hoewel het niet met enorme sprongen voorloopt. Dit is ook zichtbaar in de algemene Artificial Analysis Intelligence Index.

Het voordeel van de benchmarks van Artificial Analysis is dat ze onafhankelijk zijn. De setup hangt af van de benchmark: GDPval-AA en AA-Briefcase gebruiken het open-source Stirrup-harness, terwijl Terminal-Bench v2.1 gebruikmaakt van Terminus 2 en $\tau^3$-Banking van het $\tau$-Bench-harness.

Omdat modellen vaak worden getraind met één primair harness in gedachten, kunnen sommige agentische evaluaties de prestaties van Astra onderschatten. Om dit te verifiëren, zou Astra over verschillende harnesses op dezelfde taken getest moeten worden.

Opmerking over AGENTS.md en SKILL.md: Zoals recent gesuggereerd door collega's en de lead van Claude Code, is het wellicht raadzaam om sommige bestaande instructiebestanden (AGENTS.md en SKILL.md) te archiveren. Nieuwere LLM's zijn efficiënter geworden in het begrijpen van prompts. Te veel "begeleiding" kan nieuwere modellen onnodig beperken en leiden tot minder optimale oplossingen. Het is wellicht tijd om deze bestanden te updaten of opnieuw te genereren.

1.2 Computer-use mogelijkheden

GPT-6 Astra is uitzonderlijk sterk in afbeeldingen en rendering. Wanneer deze taken interactie met grafische gebruikersinterfaces (GUI) vereisen, tonen ze computer-use capaciteiten: het model bedient software op een lokale computer via de Codex/ChatGPT-app.

Dit is waar het model echt uitblinkt. Voorbeelden variëren van het renderen van New York City in Blender tot virtuele open-huis tours. In een test liet ik GPT-6 Astra (Medium en High varianten) een afbeelding van mij natekenen in een browserversie van MS Paint. Dit toont niet alleen artistieke vaardigheden, maar vooral het vermogen om tools te bedienen via de muisaanwijzer.

Hoewel LLM's van nature tekstmodellen zijn (waardoor coderen en API-gebruik "laaghangend fruit" zijn), is de verschuiving naar GUI-interactie logisch. Veel software heeft geen CLI (Command Line Interface); in plaats van te wachten op dergelijke interfaces, is het efficiënter om modellen te leren GUI's te gebruiken. Dit is vergelijkbaar met de ontwikkeling van humanoïde robots: ze zijn misschien niet de meest efficiënte voor een specifieke assemblagelijn, maar ze zijn wel veelzijdig.

1.3 Training voor computer-use

De trend van computer-use strookt met berichten dat OpenAI tienduizenden Mac Minis en Mac Studios heeft aangeschaft voor Reinforcement Learning. Deze Macs worden niet gebruikt om de modellen te trainen (daarvoor zijn GPU's beter), maar dienen als omgeving waarin het model macOS en de bijbehorende tools leert gebruiken.

De workflow voor computer-use training werkt als volgt:

1. Het model krijgt een taak (bijv. "open app xyz en doe abc").
2. Het model ontvangt screenshots van de macOS-interface via het harness.
3. De LLM voorspelt muis- en toetsenbordacties (klikken, typen, scrollen).
4. Deze acties worden uitgevoerd op de Mac.
5. Er worden nieuwe screenshots van de bijgewerkte omgeving gemaakt.
6. Dit proces herhaalt zich tot de taak slaagt of faalt.
7. Succes/faal-signalen en verifiers dienen als feedback via Reinforcement Learning with Verifiable Rewards (RLVR).

Terwijl de Mac de omgeving is, draait het model waarschijnlijk op NVIDIA GPU's (volgens de CEO van NVIDIA is Astra getraind op circa 100.000 Grace Blackwell GPU's).

1.4 GPT-6 Astra als redeneermodel

De focus op computer-use is geen fundamentele paradigmashift. GPT-6 Astra blijft een redeneermodel. Dit betekent dat het is getraind met RLVR en intermediate redeneertraces (chains of thought) produceert.

2. Looped Transformers

Enkele dagen voor de officiële release meldde The Information dat Astra gebruikmaakt van "recurrent depth" of "looped transformers".

2.1 Hergebruik van transformer blocks

Een Looped Transformer is een architecturale aanpassing waarbij intermediate representaties meerdere keren door dezelfde transformer blocks worden geleid, in plaats van slechts één keer. Het cruciale punt is dat de gewichten (weights) gelijk blijven tijdens deze herhalingen.

Definities en jargon:

• Transformer block: Een eenheid bestaande uit attention, een feedforward-module, normalisatie en shortcut-verbindingen (ook wel "transformer layers" genoemd).
• Stack: Een sequentie van transformer blocks.
• Block application: Het één keer door een transformer block leiden van een input.

Dit concept is niet nieuw (zie Universal Transformers uit 2018). Een recent voorbeeld is Nanbeige4.2-3B. In plaats van een conventionele stack, leidt Nanbeige de verborgen staten na de eerste pass opnieuw door dezelfde 22 blocks.

Als we deze berekening "uitrollen", hebben we 44 block applications. Echter, in tegenstelling tot een model met 44 verschillende blocks, hergebruikt de tweede pass de gewichten van de eerste. Hierdoor wordt de effectieve diepte verhoogd van 22 naar 44 zonder extra gewichten toe te voegen.

2.2 Kosten van looping

Waarom zou men dit doen? Het is een alternatief voor het simpelweg groter maken van het model. Een model dat 22 blocks twee keer gebruikt, heeft ongeveer half zoveel parameters als een model met 44 conventionele blocks, wat het geheugenverbruik voor het opslaan van gewichten vermindert.

Echter, de computationele kosten blijven gelijk: er moeten nog steeds 44 block applications worden uitgevoerd tijdens de forward pass. Ook tijdens de training moeten gradiënten door beide herhalingen stromen.

Wat betreft de KV cache: omdat de intermediate states bij de tweede pass verschillend zijn, zijn de resulterende keys en values dat ook. Er is dus geen besparing op de KV cache; een looped transformer met een herhaalde stack van 22 blocks heeft dezelfde KV cache-vereisten als een conventionele transformer met 44 verschillende blocks.

2.3 Universal Transformers en flexibele loop-counts

In Universal Transformers (2018) wordt niet een hele stack, maar een enkel transformer block herhaaldelijk toegepast. Hierbij wordt gebruikgemaakt van adaptive halting: een token kan één, twee of meer loops doorlopen, afhankelijk van de complexiteit. Een getrainde functie bepaalt de stopwaarschijnlijkheid op basis van een drempelwaarde.

Een ander voorbeeld is ByteDance’s Ouro (bijv. Ouro-Thinking 2.6B), die een stack van 48 blocks vier keer toepast (192 block applications). Ook hier wordt een learned exit gate gebruikt om te bepalen wanneer de output moet worden gegenereerd.

2.4 Routing van flexibele loop-counts

Mixture-of-Recursions (2025) is een geavanceerdere versie hiervan. Hierbij wordt een "recursion block" (een gedeelde stack) tussen een eerste en laatste layer geplaatst. De beslissing over hoe vaak een token door de recursion block gaat, wordt genomen door een kleine, getrainde router.

Er zijn twee manieren waarop deze routing kan werken:

• Expert-choice routing: Bij elke stap selecteert de router welke tokens doorgaan en welke uitstappen.
• Token-choice routing: De router bepaalt aan het begin direct het aantal passes (bijv. 1, 2 of 3) voor elk token.

2.5 Effectiviteit

Onderzoek naar Mixture-of-Recursions laat zien dat bij kleinere modellen een reguliere transformer het beste presteert. Echter, bij grotere modellen en kleinere trainingsbudgetten presteert MoR vaak beter. Dit suggereert dat looped transformers de modelkwaliteit kunnen verbeteren binnen een vast compute-budget, mits het model groot genoeg is.

3. Zijstap: Recurrent Neural Networks (RNN's)

Het idee van recurrente diepte lijkt op RNN's, waarbij lagen/gewichten worden hergebruikt. Het cruciale verschil is:

• RNN's hergebruiken gewichten over tijdstappen (de hidden state gaat van het ene token naar het volgende).
• Looped Transformers hergebruiken gewichten over de architecturale diepte (hetzelfde token gaat meerdere keren door de stack).

4. Gebruikt Astra daadwerkelijk looped transformers?

Hoewel er geen officiële bevestiging is, is het waarschijnlijk. De techniek is veelbelovend en de Chief Scientist van OpenAI gaf aan dat de diepte van de computationele graaf van Astra binnen een factor twee van GPT-4 ligt. Dit zou kunnen wijzen op looped transformers, of simpelweg op twee keer zoveel reguliere blocks. Naar mijn mening komt het succes van Astra echter primair door verbeterde trainingsmethoden en data.

5. Verbergen van chains of thought

De vraag is of looped transformers de redeneertraces (chains of thought) ondoorzichtig maken.

5.1 Redeneren in het kort

Redeneermodellen genereren intermediate stappen voordat ze een definitief antwoord geven. Deze stappen fungeren als een kladblok en maken backtracking mogelijk (het opmerken van een fout en het terugkeren naar een eerdere keuze).

5.2 Tokengebruik en kortere redeneerketens

Men zou kunnen redeneren dat een model met looping intern meer computatie uitvoert en daardoor minder externe "denk-tokens" nodig heeft.

Benchmarkgegevens tonen aan dat GPT-6 Astra bij een vaste nauwkeurigheid inderdaad minder tokens gebruikt dan GPT-5.6 Sol. Dit hoeft echter geen probleem te zijn voor de interpreteerbaarheid. Een krachtiger model maakt simpelweg minder fouten en heeft minder backtracking nodig. Dit zagen we al bij de vergelijking tussen GPT-5.6 Luna en Sol; Sol is efficiënter (gebruikt minder tokens) maar niet per se minder interpreteerbaar.

Jakub Pachocki (Chief Scientist bij OpenAI) verduidelijkte dat de trend naar minder monitorbare redeneerketens niet afhankelijk is van architectuurwijzigingen, maar een fragiel proces is waar ze actief aan werken om het te versterken.

6. Onderzoek naar Looped Transformers

6.1 Latente redenering

Het paper Scaling up Test-Time Compute with Latent Reasoning (2025) onderzoekt extra loops tijdens de inferentie. Het model herhaalt een stack van vier blocks, waarbij bij elke loop zowel de vorige hidden state als de initiële input-representatie worden meegegeven. Het aantal loops kan tijdens de training variëren, waardoor het model tijdens inferentie flexibel kan omgaan met verschillende compute-budgetten.

6.2 Kennisretrieval versus redeneren

Het onderzoek Beyond Parameters (2025) maakt een onderscheid tussen memorisatie en redeneren:

• Memorisatie: Looping heeft nauwelijks invloed op de hoeveelheid opgeslagen informatie bij een vast aantal parameters.
• Redeneren: Het hergebruiken van blocks verbetert de prestaties bij meerstaps wiskundige problemen zonder extra parameters toe te voegen.

6.3 SMELT: Compute-matched MoE

Het paper SMELT (september 2026) vergeleek looped en conventionele transformers bij een gelijk compute-budget en KV cache-vereisten. De resultaten tonen aan dat SMELT ongeveer 6,8% tot 18% minder trainingscompute nodig heeft om dezelfde validatieverlies-score te bereiken.

6.4 Full-bandwidth transformer

Het Full-bandwidth transformer paper (augustus 2026) bestudeert recurrentie over tokenposities. Hierbij wordt de finale hidden state van het vorige token gecombineerd met de embedding van het nieuwe token. In basismodellen leidde dit tot kortere redeneertraces bij behoud van nauwkeurigheid, hoewel dit effect verdween na instruction tuning.

Conclusie

GPT-6 Astra is een zeer krachtig model, met name door de enorme sprong in computer use. Het is waarschijnlijk dat Astra een variant van de looped transformer gebruikt, simpelweg omdat dit betere prestaties levert binnen een vast compute-budget.

Het feit dat redeneerketens korter worden, is waarschijnlijk een bijproduct van hogere intelligentie: krachtiger modellen maken minder fouten en kunnen meer intern rekenwerk verrichten, waardoor ze minder afhankelijk zijn van een extern "kladblok". Dit is vergelijkbaar met een goed voorbereide student tijdens een examen die minder ruimte op het kladpapier nodig heeft dan iemand die vaker moet terugrekenen.