Augmented Lagrangian Predictive Coding: het trainen van netwerken met 1000 lagen zonder backpropagation

Inleiding

Standaard deep learning is afhankelijk van backpropagation. Het menselijk brein kan backpropagation echter niet implementeren, althans niet exact [1, 2]. Hoe het brein het probleem van de multilayer credit assignment oplost zonder expliciet gebruik van backprop, blijft een van de fundamentele onopgeloste problemen in de neurowetenschappen (hoewel er wel vooruitgang is geboekt [3, 4, 5]).

Er zijn verschillende redenen waarom het brein geen exacte backpropagation kan uitvoeren. Eén daarvan is "phase locking" [6, 2]. Backpropagation verloopt in drie fasen, in een strikte volgorde: 1) een forward pass, dan 2) een backward pass, en vervolgens 3) een gewichtsupdate. Een gewichtsupdate is geblokkeerd totdat de forward- en backward-passes zijn voltooid; een neuron in een vroege laag moet zijn activatie vasthouden en wachten tot het foutsignaal arriveert. Het brein heeft geen bekend mechanisme dat een dergelijke strikte timing-coördinatie over een heel netwerk kan afdwingen [1].

In dit artikel presenteren we PC-ALM (Augmented Lagrangian Predictive Coding), een methode voor het trainen van netwerken die de forward- en backward-passes van backprop vervangt door laag-lokale dynamische systemen. Elke laag is alleen gekoppeld aan zijn directe buren. In plaats van de volgorde "forward-dan-backward", laten we elke laag vooruit in de tijd lopen. Wanneer het systeem convergeert, distribueren de dynamieken van het gehele systeem de supervision credit signalen snel en nauwkeurig over het gehele netwerk.

PC-ALM is een uitbreiding van standaard predictive coding (PC) [7, 8, 9, 10]. PC maakt gebruik van diffusieve koppelingen (energiegebaseerd of "warmtestroom") tussen lagen. In vergelijking met PC introduceert PC-ALM duale neuronen (Lagrange-multiplicatoren) per laag, waardoor de lokale recurrentie van elke laag een PI-feedbackcontroller wordt. In het limietgeval van lineaire netwerken convergeren de duale neuronen naar de exacte backprop credit signalen, ondanks het gebruik van uitsluitend lokale berekeningen.

We vergelijken PC-ALM met PC en backprop in een reeks experimenten. Lokale trainingsmethoden zoals PC waren historisch gezien moeilijk te schalen. Volgend op de PC-literatuur gebruiken we eenvoudige taken (Fashion-MNIST, CIFAR-10, etc.) en netwerken zoals residual MLPs.

We tonen aan dat PC-ALM succesvol supervision credit kan propageren in neurale netwerken van 1000 lagen, waarmee het probleem van signaalverval (signal decay) bij standaard PC wordt overwonnen [11], terwijl de laag-lokale eigenschap behouden blijft. We richten ons specifiek op diepe netwerken met een geringe breedte, een regime waarin PC gewoonlijk slecht presteert.

Onze uiteindelijke motivatie is om te begrijpen hoe gedistribueerde systemen (zoals het brein) gradiëntberekeningen kunnen implementeren zonder backpropagation. Naast de wetenschappelijke motivatie kan dit onderzoek bijdragen aan energiezuinig deep learning op neuromorfische hardware, waar het simuleren van dynamische systemen goedkoper is dan op een GPU [12].

Bronnen: Paper: arxiv.org/abs/2605.31022 Code: github.com/SakanaAI/pc-alm

---

Predictive Coding: elke laag als een dynamisch systeem

Voordat we PC-ALM uitleggen, bespreken we eerst PC vanuit het perspectief van dynamische systemen om de rol ervan als alternatief voor backprop te benadrukken.

Wat is Predictive Coding?

Predictive coding vindt zijn oorsprong in de theorieën van Helmholtz over onbewuste perceptie [13]. Rao & Ballard (1999) ontwikkelden een wiskundig kader voor PC als model voor de visuele cortex [14]. Het idee achter PC is dat elke laag probeert de binnenkomende signalen te modelleren en alleen de voorspellingsfout (prediction error) — het deel dat de laag niet kon modelleren — doorstuurt naar de volgende laag.

Wiskundig gezien maakt predictive coding gebruik van een algemeen motief: neem een status en update deze om de voorspellingsfout in de volgende stap te verminderen:

$\text{status}{t+1} = \text{status}t - \eta (\text{status}t - \text{target}t) \quad \underbrace{(\text{voorspellingsfout})}_{\text{prediction error}}$

Door deze updateregel toe te passen op de activatievector van elke laag (waarbij de "status" de activatie $hi$ van de laag is, en het "target" de voorspelling $\sigma(Wi h_{i-1})$ is die arriveert vanuit de laag eronder $^1$), omzeilt het PC-framework effectief de noodzaak van backprop voor een gesynchroniseerde forward- en backward-pass.

Om dit in detail uit te leggen, kunnen we een feedforward netwerk schrijven als een beperkt optimalisatieprobleem:

$\text{minimaliseer}{\theta, h} \frac{1}{2} \|y - WL h{L-1}\|^2 \quad \text{onder subject to } hi = \sigma(Wi h{i-1}), i = 1, \dots, L-1$

Hierbij is $L$ de diepte van het netwerk, $h0 := x$ de input, $y$ het target, $\theta = \{Wi\}$ de gewichten, $hi$ de laagactivaties, en $\sigma$ een activatiefunctie zoals ReLU. Let op dat elke $hi$ een optimalisatievariabele is $^2$. We construeren vervolgens een nieuwe verliesfunctie die de oorspronkelijke supervisie-loss bevat, samen met een kwadratische straf voor schendingen van elke laagbeperking:

$F{PC}(h, \theta) = \frac{1}{2} \|y - WL h{L-1}\|^2 + \frac{1}{2} \sum{i=1}^{L-1} \|hi - \sigma(Wi h_{i-1})\|^2$

Dit is een kwadratische relaxatie van het beperkte probleem. $F_{PC}$ staat bekend als de "vrije energie" van het netwerk [15, 9].

Om een neuraal netwerk te trainen, wisselt PC af tussen inferentie- en leerstappen:

Inferentie: Voor $t = 1, \dots, T$: $hi \leftarrow hi - \etah \nabla{hi} F{PC}$ voor $i = 1, \dots, L-1$

Leren: $Wi \leftarrow Wi - \eta\theta \nabla{Wi} F{PC}$ voor $i = 1, \dots, L$

Per mini-batch initialiseert een forward pass de activaties, gevolgd door $T$ inferentiestappen en één gewichtsupdate. We stellen $T$ proportioneel aan de netwerkdiepte; in de experimenten met 1000 lagen gebruiken we $T = 2L$.

Elke $hi$-update vermindert de voorspellingsfouten tussen lagen die grenzen aan $i$. Dit komt omdat $\nabla{hi} F{PC}$ alleen afhangt van $h{i-1}$, $hi$, en $h{i+1}$. Inferentie vereist alleen communicatie met directe buren ("message passing") tussen lagen. Expliciet, waarbij $ri = hi - \sigma(Wi h_{i-1})$ de voorspellingsfout is tussen lagen $i-1$ en $i$, luidt de inferentie-update als volgt $^3$:

$hi \leftarrow hi - \etah (ri \uparrow \text{fout beneden} - W{i+1}^\top (\sigma' \odot r{i+1} \uparrow \text{fout boven})) \quad i = 1, \dots, L-1$

De onderste laag $h0$ is "clamped" (vastgezet) op een inputwaarde en de bovenkant van het netwerk is clamped op het target $y$. Na $T$ updatestappen stabiliseert het netwerk in statussen $hi$ voor elke laag, waarna een gradiëntafdalingstap wordt genomen op dezelfde $F_{PC}$, maar nu met betrekking tot de gewichten $W$ (gegeven de huidige resterende voorspellingsfouten en de huidige statusactivaties):

$Wi \leftarrow Wi + \eta\theta (\sigma' \odot ri) h_{i-1}^\top \quad i = 1, \dots, L-1$

Zowel de inferentiestap als de gewichtsupdate zijn laag-lokaal. De gewichtsupdate is Hebbiaans-achtig, in die zin dat het een postsynaptische fout vermenigvuldigt met de presynaptische activiteit (een delta-regel), en de dynamiek correspondeert met een neuraal circuit met expliciete foutneuronen [14, 7].

PC en het probleem van signaalverval (signal decay)

Omdat het minimaliseren van de vrije energie met betrekking tot elke $h_i$ er niet voor zorgt dat de laag-gewijze beperkingen exact worden nageleefd, resulteert PC in een ander leertraject dan standaard backpropagation.

Desondanks is aangetoond dat PC succesvol netwerken kan trainen voor eenvoudige taken. Bijvoorbeeld MNIST en Fashion-MNIST in 128-laags residual MLPs met brede lagen (512 neuronen per laag) [16].

Echter, PC heeft moeite met complexere taken en netwerken [17]. Bovendien presteert PC zelfs op eenvoudige netwerken/taken slecht als de breedte van het netwerk kleiner is dan de diepte [18].

Elke laag past zijn activiteit aan om voorspellingsfouten met zijn buren te verminderen. Supervisie komt binnen bij de output, maar moet zich een weg banen door deze keten van lokale compromissen om eerdere lagen te beïnvloeden. In diepe, smalle netwerken wordt het resulterende credit signaal zwak lang voordat het de input bereikt.

Dit leidt tot een gedocumenteerd probleem van signaalverval bij PC [11]. Het verhogen van $T$ laat het signaal verder propageren, maar vereist meer rekenkracht voor elke trainingsupdate. Onze methode, PC-ALM, introduceert een manier om de signaalpropagatie van PC-netwerken te verbeteren, terwijl de laag-lokale dynamiek en het inferentiebudget $T$ (proportioneel aan de diepte) behouden blijven.

---

Augmented Lagrangian Predictive Coding (PC-ALM)

We stellen Augmented Lagrangian Predictive Coding voor, een variant van PC die de augmented Lagrangian (AL) [19, 20, 21] gebruikt in plaats van de $F_{PC}$ van PC:

$\mathcal{L}(h, \theta, \lambda) = \underbrace{\frac{1}{2} \|y - WL h{L-1}\|^2}{\text{supervisie loss}} + \underbrace{\sum{i=1}^{L-1} \lambdai^\top (hi - \sigma(Wi h{i-1}))}{\text{Lagrangian term}} + \underbrace{\frac{1}{2} \sum{i=1}^{L-1} \|hi - \sigma(Wi h{i-1})\|^2}{\text{PC energie}}$

In elke laag introduceert de augmented Lagrangian een Lagrange-multiplicator (of duale variabele) $\lambdai \in \mathbb{R}^{ni}$ van dezelfde dimensie als $h_i$.

De augmented Lagrangian wordt veelvuldig gebruikt in gedistribueerde optimalisatie [22] en heeft diverse gedistribueerde methoden voor het trainen van diepe netwerken geïnspireerd [23, 24]. LeCun (1988) [25] toonde aan dat de Lagrange-multiplicatoren van een beperkt netwerk bij equilibrium de backprop credit signalen coderen. De augmented Lagrangian combineert deze klassieke constructie met de kwadratische voorspellingsfout-strafen die al door PC worden gebruikt. Dit suggereert een eenvoudige mogelijkheid: kunnen de lokale dynamieken van PC deze credit signalen herstellen als we de multiplicatoren toevoegen?

Om de augmented Lagrangian te gebruiken voor training, passen we een eenvoudige wijziging toe op PC:

Inferentie: Voor $t = 1, \dots, T$:

1. $\text{Primal: } hi \leftarrow hi - \etah \nabla{h_i} \mathcal{L}$ voor $i = 1, \dots, L-1$
2. $\text{Dual: } \lambdai \leftarrow \lambdai + \alpha (hi - \sigma(Wi h_{i-1}))$ voor $i = 1, \dots, L-1$

Leren: $Wi \leftarrow Wi - \eta\theta \nabla{W_i} \mathcal{L}$ voor $i = 1, \dots, L$

Hier is $\alpha$ de duale stapgrootte. PC-ALM is een primal descent, dual ascent op de augmented Lagrangian, tegenover de descent op de energie bij PC.

Door lokale voorspellingsfouten te accumuleren, herstellen de duale variabelen de exacte backprop credit signalen in een diep lineair netwerk. Dit resultaat leiden we in het paper af. Dus, ten minste voor lineaire netwerken, biedt PC-ALM een methode voor het berekenen van exacte supervised loss-gradiënten en het distribueren hiervan door een netwerk, gebruikmakend van uitsluitend laag-lokale dynamiek. In de onderstaande experimenten testen we of dit voordeel ook geldt voor niet-lineaire netwerken.

Mechanistische interpretatie

Om mechanistisch te begrijpen hoe PC-ALM werkt, beschouwen we een eenvoudig scalair netwerk met een verborgen eenheid $h = w1 x$ en output $\hat{y} = w2 h$. We willen de gradiënt van de supervised loss $\frac{1}{2}(y - \hat{y})^2$ propageren naar $w_1$.

We koppelen een multiplicator $\lambda$ aan de beperking $h = w_1 x$, initialiseren $\lambda = 0$, en initialiseren $h$ op zijn forward-pass waarde. De eerste stap van PC-ALM komt exact overeen met een PC-stap. Daarna accumuleert $\lambda$ in elke stap de voorspellingsfout van de laag, wat terugvoedt in de $h$-updates. Elke $h$-update is nu een gradiëntstap op de energie, waarbij de voorspellingsdoelen zijn verschoven door de duale variabele $^4$.

Bij convergentie keert de activatie $h$ terug naar zijn forward-pass waarde (waardoor de beperking $h = w1 x$ wordt hersteld), terwijl $\lambda$ is geaccumuleerd tot het backprop credit signaal van die laag: $\lambda = w2(y - \hat{y})$.

Controlere-theorie en credit assignment

PC-ALM biedt een controlere-theoretisch perspectief op credit assignment. Elke laag combineert zijn huidige voorspellingsfout met een geaccumuleerd foutsignaal — de proportionele en integrale termen van een PI-feedbackcontroller $^5$. Globale credit assignment ontstaat uit een netwerk van lokale feedbackcontrollers. We geloven dat dit perspectief een nuttig principe biedt voor het ontwerpen van nieuwe lokale leer-algoritmen.

---

Resultaten

Training van 1000-laags neurale netwerken

PC-ALM traint succesvol 1000-laags MLPs op MNIST. We gebruiken de residual MLP-setup van Innocenti et al. (2026) [18] en trainen gedurende vijf epochs. Onze architectuur is een eenvoudige MLP met residual skip-connections, gebruikmakend van gewichtsparametriseringen die backprop-training op deze diepte stabiliseren.

De resultaten tonen aan dat PC-ALM een prestatie behaalt die bijna gelijk is aan die van backprop, terwijl uitsluitend laag-lokale dynamiek wordt gebruikt.

Benchmarks voor beeldclassificatie

We hebben PC-ALM getest op een kleine set beeldclassificatietaken en stelden vast dat het de prestaties ten opzichte van PC op elke taak verbetert, inclusief bij het trainen van ResNet-18 op CIFAR-10 en Tiny ImageNet.

Over de benchmarks heen verkleint PC-ALM consistent het gat tussen standaard PC en globale backprop. Naarmate de diepte toeneemt, daalt de nauwkeurigheid van PC veel sneller dan die van PC-ALM.

Propagatie-dynamiek van PC-ALM

Naast de prestaties ontdekten we dat PC-ALM verrassende dynamische eigenschappen vertoont. Bij zowel PC- als PC-ALM-inferentie verschijnen bewegingen in de verborgen activaties $h_i$ aanvankelijk alleen in de laatste netwerklagen. Naarmate de inferentie vordert, ontvangen eerdere lagen het credit signaal, waardoor er een wavefront ontstaat dat zich richting de input beweegt. De primal-dual dynamiek van PC-ALM stuurt dit wavefront sneller door het netwerk dan PC. We noemen dit "ballistische" credit propagatie, in contrast met de diffusieve, warmtestroom-achtige propagatie van PC.

• Ballistisch: Het credit signaal verspreidt zich gelijkmatig over het netwerk.
• Diffusief (PC): Het signaal vervalt naarmate de diepte toeneemt.

Stabiele oscillerende overgangsreacties

Individuele neuronen in PC-ALM vertonen tijdens inferentie ook gedempte oscillaties. In een diep lineair netwerk vormen de gekoppelde inferentiedynamieken over alle lagen een lineair systeem. Wanneer de duale stapgrootte $\alpha$ wordt verhoogd, ontstaan er complexe eigenwaarden en oscillerende dynamiek. Als $\alpha$ echter te ver wordt verhoogd, destabiliseert het netwerk uiteindelijk.

---

Discussie

Dit werk introduceert PC-ALM, een laag-lokaal alternatief voor backpropagation voor het trainen van diepe netwerken. Voor zover we weten is dit de eerste laag-lokale methode die succesvol netwerken tot 1000 lagen traint.

Samenvatting

Predictive coding blijft een aantrekkelijke kandidaat voor een theorie over corticale functies, geworteld in de ideeën van Helmholtz over onbewuste verwerking. Het is later aangetoond dat predictive coding kan worden gezien als een laag-lokaal alternatief voor backpropagation. PC in zijn standaardvorm kan netwerken trainen voor eenvoudige taken, maar signaalverval beperkt de prestaties in diepe, smalle netwerken. Door Lagrange-multiplicatoren te introduceren en primal-dual inferentie uit te voeren op de augmented Lagrangian, kunnen individuele lagen een gradiëntsignaal van een globale verliesfunctie berekenen met uitsluitend communicatie tussen naburige lagen. De primaire motivatie is om de mechanismen van credit assignment in fysieke systemen zoals het brein beter te begrijpen.

Beperkte en 'lifted' optimalisatie

PC-ALM is verwant aan een lange lijn van werk over beperkte optimalisatiebenaderingen voor het trainen van diepe netwerken. Deze benaderingen "liften" de training naar een groter optimalisatieprobleem door activaties $h$ als variabelen te behandelen naast de gewichten $W$. Voorbeelden hiervan zijn de methode van hulpcoördinaten [26], ADMM-training [23, 27, 24], BlockProp [28], ProxProp [29], en augmented Lagrangian methoden [36, 37]. PC-ALM put uit deze traditie om een neurowetenschappelijke vraag te beantwoorden: hoe kunnen lokale neurale dynamieken credit voor een globaal doel berekenen en distribueren?

De afweging tussen prospectieve configuratie en propagatie

In PC verschillen de gestabiliseerde activaties van de forward pass. Song et al. [38] noemden dit "prospectieve configuratie" en toonden aan dat dit de steekproefefficiëntie ten opzichte van backprop kan verbeteren. PC-ALM verbetert de credit propagatie, maar geeft prospectieve configuratie bij convergentie op. We vermoeden dat er een fundamentele afweging tussen de twee bestaat.

Motivaties en Toekomstig Werk

Dit werk begon met drie observaties:

1. De Neuro-AI en gedistribueerde optimalisatie-gemeenschappen delen een interesse in lokaliteit, maar er is relatief weinig interactie tussen hen.
2. De PC-energie lijkt verdacht veel op de augmented term van de augmented Lagrangian die veel wordt gebruikt in gedistribueerde optimalisatie.
3. LeCun (1988) identificeerde de multiplicatoren van de standaard Lagrangian met backprop credit signalen.

Toekomstig onderzoek moet zich richten op het uitbreiden van PC-ALM naar temporele taken met temporele credit assignment [39, 40], zelf-gesuperviseerde losses [41], en uiteraard grotere netwerken en moeilijkere taken.

---

Voetnoten

1. In Rao & Ballard komt de voorspelling uit de laag erboven, omdat feedback voorspellingen van lagere-niveau activiteit draagt en feedforward de residuen draagt (Rao & Ballard 1999). Onze vergelijkingen volgen de supervisie-conventie van Whittington & Bogacz (2017), waarbij de input op het hoogste niveau van de hiërarchie wordt vastgezet.
2. In vergelijking met de meer standaard ongebeperkte formulering van deep learning optimalisatie, waarbij alleen de parametervector $\theta$ wordt geoptimaliseerd.
3. Bij de output definiëren we $rL := y - WL h_{L-1}$. Aangezien de readout lineair is, nemen we $\sigma' = 1$ voor deze verbinding.
4. We kunnen dit zien door de augmented Lagrangian in een interpreteerbare vorm te herschrijven. Na het kwadrateren en het weglaten van termen waarvan de afgeleide 0 is, luidt de augmented Lagrangian: $\mathcal{L} = \frac{1}{2} \|y - WL h{L-1}\|^2 + \frac{1}{2} \sumi \|ri + \lambda_i\|^2$. Dat wil zeggen dat elke primal stap een standaard PC-stap is, maar op een voorspellingsfout $r$ die is verschoven door de duale variabele $\lambda$.
5. PC-ALM kan op twee manieren worden geïnterpreteerd. Vanuit een optimalisatieperspectief is PC-ALM primal descent op $\mathcal{L}$ (t.o.v. $h$) en dual ascent op $\mathcal{L}$ (t.o.v. $\lambda$). Vanuit een controleperspectief zijn $r$ en $\lambda$ de P- en I-termen van een feedbackcontroller in elke laag.

Referenties

(De volledige lijst met wetenschappelijke referenties uit de brontekst wordt hier behouden voor volledigheid)

1. Lillicrap, T.P., et al. (2020). Nature Reviews Neuroscience.
2. Ororbia, A. (2023). arXiv preprint.
3. Sacramento, J., et al. (2018). NeurIPS.
4. Max, K., et al. (2026). PLOS Computational Biology.
5. Ellenberger, B., et al. (2026). Nature Communications.
6. Jaderberg, M., et al. (2017). ICML.
7. Whittington, J.C.R. & Bogacz, R. (2017). Neural Computation.
8. Millidge, B., et al. (2021). arXiv preprint.
9. Salvatori, T., et al. (2026). Neural Networks.
10. Salvatori, T., et al. (2022). NeurIPS.
11. Goemaere, C., et al. (2026). ICML.
12. Davies, M., et al. (2021). Proceedings of the IEEE.
13. von Helmholtz, H. (1867). Handbuch der physiologischen Optik.
14. Rao, R.P. & Ballard, D.H. (1999). Nature Neuroscience.
15. Millidge, B., et al. (2022). arXiv preprint.
16. Innocenti, F., et al. (2025). arXiv preprint.
17. Pinchetti, L., et al. (2025). arXiv preprint.
18. Innocenti, F., et al. (2026). arXiv preprint.
19. Hestenes, M.R. (1969). Journal of Optimization Theory and Applications.
20. Powell, M.J.D. (1969). Optimization.
21. Bertsekas, D.P. (1976). Automatica.
22. Boyd, S., et al. (2011). Foundations and Trends in Machine Learning.
23. Taylor, G., et al. (2016). ICML.
24. Zeng, J., et al. (2021). JMLR.
25. LeCun, Y. (1988). A Theoretical Framework for Back-Propagation.

... (overige referenties conform brontekst)