Continue diffusie-taalmodellen

De recente instroom van nieuw onderzoek in dit domein inspireerde me om mijn gedachten op te schrijven. Ik heb eerder over diffusie-taalmodellen geschreven, dus dit dient voornamelijk als een update om alles te behandelen wat sindsdien is gebeurd. Dit is een vrij subjectief verslag – andere perspectieven en afwijkende meningen zijn zeer welkom! Ik zal later ingaan op enkele technische aspecten van continue diffusie voor taal, maar eerst volgt wat historische context.

De autoregressieve hegemonie uitdagen

Moderne taalmodellen zijn grotendeels autoregressief: ze genereren sequenties token voor token. Dit is een natuurlijke ontleding van een moeilijke generatietaak in kleinere, eenvoudigere sequentiële stappen. Alle stappen zijn instanties van dezelfde onderliggende taak (voorspel een token gegeven de voorafgaande tokens), wat parameter-sharing over de sequentiedimensie mogelijk maakt. Ondanks dit inherent sequentiële generatieve proces, staat de Transformer-architectuur efficiënte parallelle training toe over alle sequentieposities met behulp van teacher forcing. Dit is een extreem schaalbare methode gebleken, wat heeft geleid tot de huidige grote taalmodellen (LLM's).

Autoregressie is echter niet de enige manier om een iteratief generatief proces voor sequenties te construeren. Geïnspireerd door vroege successen in het audiovisuele domein, probeerden onderzoekers diffusie toe te passen op taalgeneratie. In plaats van een sequentie één element per keer te genereren, wordt het generatieve proces van diffusiemodellen gedefinieerd door het omkeren van een corruptieproces dat geleidelijk informatie vernietigt. De canonieke manier om dit te doen is door stap voor stap Gaussische ruis toe te voegen, totdat deze het signaal volledig overstemt.

2021: Vroege discrete diffusiemodellen

Na vroege successen in beeldgeneratie in 2019 en 2020, verschenen in 2021 de eerste pogingen om dit idee toe te passen op taal. Hierbij werd een continu corruptieproces vervangen door een discreet proces om de modellering van categorische data mogelijk te maken: multinomial diffusion, D3PM en SUNDAE.

Destijds was de dominantie van autoregressie nog niet zo sterk gevestigd als nu: GPT-3 had de aandacht getrokken, maar het 'ChatGPT-moment' zou pas eind 2022 komen. Op dat moment leken discrete diffusiemodellen enkele theoretische tekortkomingen van het autoregressieve paradigma aan te pakken, zoals exposure bias door teacher forcing en de relatieve moeilijkheid om het toe te passen op infilling en taken met beperkte generatie (constrained generation). Merk op dat er in de voorgaande jaren al onderzoek was gedaan naar niet-autoregressieve en any-order autoregressieve benaderingen (vooral voor machinevertaling), maar nog niet vanuit een diffusieperspectief.

2022: Continue diffusie voor discrete data

In 2022 verschenen verschillende pogingen om continue diffusie toe te passen op taalmodellering, beginnend met Diffusion-LM. Deze aanpak lost de incompatibiliteit tussen categorische data en corruptie met Gaussische ruis op een andere manier op: door discrete categorieën simpelweg te representeren met continue embedding-vectoren, die perfect vatbaar zijn voor corruptie door Gaussische ruis. Op die manier kan het Gaussische diffusiemechanisme, dat zo goed werkt voor afbeeldingen, zonder wijzigingen worden toegepast.

Diffusion-LM benadrukte de voordelen van dit alternatieve generatieve paradigma, met name voor controleerbare tekstgeneratie. In de laatste maanden van 2022 werden diverse andere papers gepubliceerd die variaties van deze aanpak gebruikten, waaronder DiffuSeq, SSD-LM, Difformer, SeqDiffuSeq, GENIE, LD4LG en twee papers waar ik zelf aan werkte: self-conditioned embedding diffusion (SED) en continuous diffusion for categorical data (CDCD).

De aantrekkingskracht van deze continue methoden was dat ze konden profiteren van alle inzichten, tools en mechanismen die werden ontwikkeld voor continue diffusie, aangezien dit het audiovisuele domein volledig overnam. Zo was het toepassen van bepaalde sampling- en distillatietechnieken, ontwikkeld voor continue diffusiemodellen, vaak veel minder eenvoudig of zelfs onmogelijk bij discrete diffusie.

Eind 2023: Het uitsterven van de continue aanpak

Vervolgens gebeurde er iets interessants: na 2023 maakte vrijwel al het nieuwe onderzoek in dit gebied gebruik van discrete diffusie, en continue diffusie voor taal stierf nagenoeg uit. Een diagram uit een survey-paper uit 2025 over diffusie-taalmodellen laat dit duidelijk zien: de overgang van 2023 naar 2024 is zeer abrupt, waarbij continue methoden (geel) worden vervangen door discrete methoden (groen).

Het is moeilijk om met zekerheid te zeggen waarom dit gebeurde, maar ik kan een paar potentiële factoren noemen:

1. Het ChatGPT-moment: Dit verschoof de focus van taal-diffusieonderzoek geleidelijk van theoretische voordelen en elegantie naar pure prestaties. Het doel werd om krachtige autoregressieve modellen op schaal te evenaren of zelfs te overtreffen in specifieke settings. Men had blijkbaar het gevoel dat het dichten van het prestatiekloof gemakkelijker te bereiken zou zijn met volledig discrete methoden, wellicht omdat deze conceptueel nauwer verwant zijn aan autoregressie.
2. Schaalbaarheid: De wetenschap achter het schalen van diffusie-taalmodellen werd verkend, en de eerste observaties voor continue methoden waren niet veelbelovend. In mei 2023 kwantificeerden Gulrajani & Hashimoto het gat in trainingsefficiëntie voor een likelihood-gebaseerd continu diffusie-taalmodel (Plaid-1B): het was 64x minder efficiënt.

In een tijd waarin de LLM-gemeenschap sterk gefocust was op de pareto frontier van training-compute versus perplexiteit (Chinchilla-optimality), was een modelleringsaanpak waarvan de trainingsefficiëntie bijna twee ordes van grootte slechter was dan een autoregressieve baseline moeilijk serieus te nemen. Het eerste LLaMA-model, dat deze focus op trainingsefficiëntie uitdaagde en betoogde dat het inferentiebudget meegewogen moest worden, was pas enkele maanden eerder (februari 2023) uitgebracht.

Persoonlijk was ik op dat moment gestopt met het werken aan diffusie-taalmodellen (ik was te druk met het bouwen van beeld- en videogeneratiemodellen: Imagen en Veo, en later Nano Banana en Omni), dus ik observeerde deze evolutie vanaf de zijlijn. Ik vond het verrassend, omdat ik geloofde dat continue diffusie een paar belangrijke voordelen heeft, zoals het vermogen om onzekerheid op individueel token-niveau te representeren en een rijke gereedschapskist aan sampling-algoritmen.

Continue diffusie aanpassen aan discrete data

Voordat we bespreken wat er recentelijk is gebeurd, is het nuttig om in detail te bekijken hoe continue diffusie daadwerkelijk kan worden toegepast op discrete data.

Wanneer mensen over 'discreet' spreken, bedoelen ze meestal categorisch; dat wil zeggen dat de outputruimte (op token-niveau) een ongestructureerde set is zonder ordinale relatie tussen de verschillende waarden. Om continue diffusie goed te laten werken bij categorische data, zijn een embedding-strategie, een verliesfunctie (loss function) en een zinvol ruis-schema (noise schedule) nodig. Daarnaast is er een truc die in bijna elke paper over dit onderwerp voorkomt en een enorme impact heeft op de prestaties: self-conditioning.

Ik zal voortaan de afkorting CDLM gebruiken voor continuous diffusion language models en DDLM voor hun discrete tegenhangers.

Embedding-strategieën 📍

Moderne neurale netwerken hebben meestal reëelwaardige parameters en activaties. Daarom worden discrete inputs in elk netwerk eerst omgezet naar een continue representatieruimte via embeddings. Om continue diffusie toe te passen, 'liften' we het corruptieproces van de discrete inputruimte naar een continue embedding-ruimte. In plaats van discrete corruptie gevolgd door continue embedding, embedden we eerst de inputs en passen dan de continue corruptie toe.

De vorm en structuur van de embedding-ruimte beïnvloeden het corruptieproces aanzienlijk. Verschillende strategieën zijn verkend:

• Expliciet (bijv. SSD-LM): De simpelste aanpak, zoals een one-hot representatie, waarbij elk element in een vocabulaire van grootte $V$ wordt geassocieerd met een $V$-dimensionale vector. Dit kan onhandig zijn omdat $V$ tegenwoordig erg groot is. Een alternatief is het gebruik van compacte binaire patronen, zoals in Analog Bits.
• Pre-trained (bijv. SED): Gebruikmaken van een representatie-leerstategie om embeddings te leren, en deze vervolgens hergebruiken. Ze kunnen worden geleend van een autoregressief model of een bidirectioneel model zoals BERT. Ze kunnen ook contextueel worden gemaakt, waardoor de embedding van een token afhangt van naburige tokens.
• Gezamenlijk geleerd (bijv. CDCD): De embeddings samen met het denoiser-model in één leerprocedure fitten, zodat ze zich kunnen co-adapteren.

Een uitdaging bij gezamenlijk leren is dat naïve formuleringen gevoelig zijn voor embeddings collapsing of ongecontroleerde groei. Er is veel discussie over de geometrie van de embedding-ruimte; men suggereert vaak dat ruimtes met een betekenisvolle semantische structuur beter werken. Dit betekent dat een kleine hoeveelheid ruis bij het token 'kat' het bijvoorbeeld ononderscheidbaar zou kunnen maken van 'hond', maar nog steeds zeer verschillend van 'paraplu'.

Omdat het uiteindelijke doel is om een discrete token-sequentie te genereren, is er ook een unembedding-strategie nodig. Dit gebeurt vaak door voorspellingen direct in de continue embedding-ruimte te doen en aan het eind van het sampling-proces een discretisatiestap uit te voeren (bijvoorbeeld door de embedding te koppelen aan het dichtstbijzijnde vocabulaire-element).

Verliesfuncties (Loss functions) 📉

Er is variatie in de gebruikte verliesfuncties voor CDLMs. Meestal is de keuze nauw verbonden met de unembedding-strategie:

• MSE (Mean Squared Error): Wordt gebruikt als de denoiser voorspellingen doet direct in de continue embedding-ruimte.
• Categorische cross-entropy: Wordt gebruikt als de denoiser kansen over vocabulaire-elementen output. Dit lijkt meer op de autoregressieve setting.
• Maximum likelihood principe: Sommige varianten gebruiken een objectief dat de likelihood van onderaf begrenst (vergelijkbaar met VAE's).

Sommige werken hebben geprobeerd het continue diffusieproces te beperken tot de $V$-simplex (de ruimte van geldige categorische kansverdelingen), maar dit voegt in de praktijk vaak aanzienlijke complexiteit toe en schaalt slecht naar grote vocabulaire-groottes.

Ruis-schema's (Noise schedules) 📻

Het corruptieproces wordt gestuurd door het ruis-schema, dat bepaalt hoe snel het ruisniveau toeneemt. Voor CDLMs is een correct schema essentieel, omdat een naïve strategie leidt tot een zeer ongelijkmatig corruptieproces. Omdat embeddings hoog-dimensionale vectoren zijn, vindt betekenisvolle corruptie plaats binnen een relatief klein bereik van ruisniveaus.

Een veelgebruikte strategie is om het ruis-schema expliciet aan te passen aan de geometrie van de embedding-ruimte. Dit kan via een feedbackloop waarbij modelvoorspellingen bepalen welke ruisniveaus interessant zijn. Door een schema $\sigma(t)$ te leren dat de entropie van de denoiser-voorspellingen lineariseert, wordt gegarandeerd dat elke sampling-stap ongeveer hetzelfde aantal bits aan informatie oplost.

Zelfconditionering (Self-conditioning) 🔄

Diffusie-sampling is normaal gesproken stateless: de volgende stap hangt alleen af van het huidige canvas. Self-conditioning (Analog Bits) pakt dit aan door de vorige voorspelling van de denoiser als extra input mee te geven aan de volgende stap. Hierdoor leert de denoiser hoe hij een ruwe schatting moet aanpassen in plaats van elke keer opnieuw te beginnen.

Voor CDLMs bleek zelfconditionering een enorme boost in prestaties te geven, waardoor bijna alle huidige werken in dit domein het gebruiken, ondanks dat het de aanname van statelessness doorbreekt.

Enkele eigen recepten 🧑‍🍳

Om te illustreren hoe deze ingrediënten samenkomen, beschrijf ik drie projecten waar ik aan heb bijgedragen:

1. Simplex diffusion: Gebruikt een niet-Gaussisch corruptieproces (het Cox-Ingersoll-Ross proces), wat zeer geschikt is voor het modelleren van (niet-genormaliseerde) kansen. Dit was een theoretische verkenning die uiteindelijk slecht schaalde naar grotere vocabulaire-groottes.
2. Self-conditioned embedding diffusion (SED): Gebaseerd op pre-trained embeddings van een BERT-model met een low-rank bottleneck. Het combineert MSE-verlies met een cross-entropy-gebaseerd unembedding-verlies, gebruikt een cosinus-ruisschema en leunt zwaar op zelfconditionering.
3. Continuous diffusion for categorical data (CDCD): Ontworpen om zo herkenbaar mogelijk te zijn voor LLM-beoefenaars. Het gebruikt standaard Gaussische diffusie met een cross-entropy verliesfunctie (score-interpolatie) en embeddings die on-the-fly gezamenlijk met de denoiser worden geleerd. Om ongecontroleerde groei van embeddings te voorkomen, wordt een normalisatielaag gebruikt. Een ander cruciaal element is het adaptieve ruisschema gebaseerd op entropie-linearisering (time warping).

De recente comeback

Na 2023 was het in dit domein stil, terwijl de focus lag op discrete diffusie. Er zijn twee gangbare strategieën voor discrete corruptie: masked discrete diffusion (tokens vervangen door mask-tokens) en uniform-state discrete diffusion (tokens vervangen door willekeurige tokens).

In de tweede helft van 2025 begonnen onderzoekers hybride methoden te introduceren die discrete en continue benaderingen combineerden. In 2026 volgde een volledige wederopstanding van continue methoden.

2025: Discreet en continu, waarom niet allebei?

Sahoo et al. observeerden een nauwe verbinding tussen Gaussische continue diffusie en uniform-state discrete diffusie, wat zij de diffusion duality noemden. Andere werken zoals CADD, CCDD en CANDI stelden verschillende manieren voor om beide corruptievormen te combineren. CANDI probeerde specifiek het probleem van temporal dissonance op te lossen: bij grote vocabulaire's vervalt de discrete identiteit van tokens snel, maar hun relatieve rang onder alle mogelijkheden veel langzamer.

2026: Continue diffusie slaat terug

De ontwikkeling van flow maps in 2025 speelde een grote rol. Een flow map is in essentie de integraal van een diffusiemodel; het probeert de overgang van ruis naar data in één keer, of in zo min mogelijk stappen, te doen. Dit inspireerde onderzoekers om continue methoden voor taalmodellering opnieuw te bezoeken.

Begin 2026 verschenen Categorical Flow Maps, Flow Map Language Models en Discrete Flow Maps. Kort daarna volgde een 'Cambrische explosie' van CDLMs:

• LangFlow, Spherical flows en Hyperspherical flows bouwen voort op CDCD met genormaliseerde embeddings, cross-entropy loss en adaptieve schema's.
• Latent diffusion language models (LDLM) en Embedded language flows (ELF) passen de standaard continue diffusie toe in een embedding-ruimte met contextuele embeddings.
• Continuous bitstream diffusion (CoBit) gebruikt embeddings in de vorm van bit-sequenties.
• RePlaid moderniseert de likelihood-gebaseerde aanpak van Plaid.

Veel van deze nieuwe werken beweren dat de eerdere consensus over de superioriteit van discrete diffusie onjuist was.

Waarom continu? En waarom nu?

Er zijn een aantal trends die deze revival hebben beïnvloed:

1. Eenvoud: Continue methoden zijn simpeler geworden. Waar vroeger kennis van score matching of differentiaalvergelijkingen nodig was, rusten moderne uitleggen op basisconcepten zoals lineaire interpolatie tussen data en ruis.
2. Alternatieven voor autoregressie: Er is een algemene groeiende interesse in alternatieven voor autoregressie, gedreven door de zoektocht naar nieuwe substraten voor redeneren en de economische waarde van snellere, flexibelere modellen.
3. Distilleerbaarheid: Dit is waarschijnlijk de belangrijkste reden. Pogingen om het aantal sampling-stappen bij DDLMs te verminderen lopen vaak tegen een muur aan omdat tokens in één stap onafhankelijk gesampled worden. Continue methoden omzeilen dit: traject-gebaseerde distillatiemethoden (zoals flow maps) maken het theoretisch mogelijk om zelfs in één stap alle correlaties vast te leggen.

Dit voordeel in distilleerbaarheid maakt niet alleen snellere sampling mogelijk, maar ontsluit ook mogelijkheden voor reward-based steering en fine-tuning.

Is discreet verouderd?

Het is onwaarschijnlijk dat discrete diffusie volledig verdwijnt. Projecten zoals DiffusionGemma (Google DeepMind) en Nemotron Diffusion (NVIDIA) tonen aan dat autoregressie niet het enige spel is in de stad.

Bovendien kunnen verschillende paradigma's naast elkaar bestaan. Discrete diffusie wordt bijvoorbeeld steeds vaker gebruikt voor drafting in speculative decoding, waarbij een snel draft-model tokens voorspelt die vervolgens parallel worden geverifieerd door een autoregressief model.

Er wordt ook geëxperimenteerd met hybride benaderingen, zoals Sticky Jump Diffusions (een unificatie van masked en continue diffusie) en Posterior Refinement (continue diffusie binnen masked diffusie).

Wat volgt er nu?

De trend van diffusie-taalmodellen die mainstream worden, vertoont geen tekenen van vertraging. Op de lange termijn kan hun hogere data-efficiëntie ten opzichte van autoregressie belangrijker worden.

Tegelijkertijd is het cruciaal dat de onderzoeksgemeenschap de evaluatiemethodologie verbetert. Omdat diffusiemodellen flexibel zijn in de trade-off tussen kwaliteit en diversiteit tijdens sampling, kunnen resultaten misleidend zijn als dit niet zorgvuldig wordt gekwantificeerd. Ook het gebruik van surrogate autoregressieve modellen om perplexiteit te meten (generative perplexity of GenPPL) introduceert een bias.

Een andere spannende richting is latent diffusion for language: het leren van een hoger-niveau continue representatie voor taal. De grootste uitdaging hier is niet de diffusie zelf, maar het leren van de latente ruimte, aangezien taal fundamenteel anders is dan perceptuele signalen (zoals pixels).

Slotbeschouwingen

De terugkeer van CDLMs is nu een feit, primair vanwege hun voordeel in distilleerbaarheid. Hoewel er nog geen convergentie is naar één specifiek 'recept', maakt dit het veld juist spannend. Om deze richting serieus te blijven nemen, is een gestandaardiseerde evaluatiemethodologie essentieel.

De discussie tussen discreet en continu is fascinerend, maar in een multimodale context is dit onderscheid misschien wel een afleiding. De echte uitdaging is het overbruggen van de semantische kloof tussen abstracte taal-tokens en de zeer laag-niveau representaties die we gebruiken voor perceptuele signalen.

***

Referenties

(De volledige lijst met 81 bronnen uit het originele document is behouden als basis voor de academische context van het artikel).