Hoe LLM's en mensen cognitieve neven zijn

De basiswerking van Large Language Models

LLM's zijn in essentie neurale netwerken bestaande uit een set knooppunten (nodes) en gewichten die hen verbinden. Wanneer er een input binnenkomt, worden de activaties vermenigvuldigd met de gewichten en door het netwerk gepropageerd. Indien deze gewichten correct zijn afgestemd, is het resultaat een zinvolle voortzetting van de invoer.

Enkele onderscheidende kenmerken van LLM's zijn:

  • Autoregressieve generatie: Het model voorspelt het volgende woord (of token) één voor één. Elk gegenereerd woord wordt vervolgens toegevoegd aan de prompt als onderdeel van de context voor de volgende voorspelling.
  • Training op internet-schaal: De enorme hoeveelheid parameters is getraind op gigantische hoeveelheden data om voorspellingen over het volgende woord te verbeteren.
  • Transformer-architectuur: In tegenstelling tot oudere, ongedifferentieerde neurale netwerken, hebben transformers een strakke structuur met attention heads die informatie verplaatsen tussen verschillende tokenposities.

Hoewel de training gericht is op het voorspellen van het volgende woord, kan het model tijdens de verwerking (de forward pass) anticiperen op latere gebeurtenissen. Dit wordt zichtbaar in experimenten waarbij een model het laatste woord van een rijm al vaststelt voordat de tussenliggende woorden zijn gegenereerd. Bovendien kunnen moderne modellen hun contextvenster gebruiken als een soort kladblok (scratchpad) om complexe taken op te splitsen in subtasks via interne tokens, wat wijst op een vorm van planning.

Gedragsovereenkomsten: Menselijke fouten en cognitieve patronen

Er is vaak discussie over of LLM's werkelijk denken. Critici wijzen vaak op specifieke fouten, zoals het onvermogen van sommige modellen om het aantal r's in het woord "strawberry" te tellen. Echter, dit is geen bewijs voor een "alien intelligence", maar een gevolg van tokenisatie: LLM's verwerken tekst meestal niet op letter-niveau, maar in groepen tekens (tokens).

Wanneer we kijken naar diepere cognitieve patronen, vertonen LLM's echter opvallende gelijkenissen met mensen:

Psycholinguïstische effecten

LLM's reproduceren fenomenen die decennialang door psycholinguïsten zijn gedocumenteerd:

  • Centraal ingebedde zinnen: Net als mensen hebben LLM's meer moeite met zinnen waarbij informatie in het midden wordt geplaatst (bijv. "De man die de vrouw die het kind kent liefheeft, rende").
  • Garden path-zinnen: Dit zijn zinnen die de lezer een dwaalspoor in leiden (bijv. "Het paard dat langs de schuur werd geraced, viel"), waarbij het model, net als de mens, een foutieve initiële parse maakt en moet hergroeperen.

Episodisch geheugen

Bij het onthouden van series woorden vertonen LLM's dezelfde effecten als mensen:

  • Recency-effect: De laatste woorden in een lijst worden beter onthouden.
  • Primacy-effect: De eerste woorden hebben een voordeel.
  • Lost-in-the-middle-effect: Informatie in het midden van een prompt wordt minder prominent verwerkt.
  • Contiguïteitseffect: Woorden die dicht bij elkaar staan, worden gemakkelijker geassocieerd.

Visueel zoeken

In visio-taalmodellen is het effect van disjunctief versus conjunctief zoeken zichtbaar. Het vinden van een groene 'L' tussen rode 'L's gaat snel (pop-out effect), maar het vinden van een groene 'L' tussen rode 'L's en groene 'T's vertraagt de verwerking, omdat er geen enkelvoudig kenmerk is dat het doel onderscheidt.

De Dual-Process Theorie in LLM's

In de menselijke psychologie (bekend van Kahneman's Thinking, Fast and Slow) wordt een onderscheid gemaakt tussen twee systemen:

  • Systeem 1: Snel, automatisch, intuïtief en moeiteloos.
  • Systeem 2: Langzaam, serieel, inspannend en rationeel.

Bij LLM's is er een parallelle structuur zichtbaar:

In-weight processing (Systeem 1)

Dit komt overeen met het automatische denken. Informatie die diep in de gewichten van het model is ingebakken (bijv. "Albert Einstein was Duits"), wordt direct en zonder complexe constructies opgehaald.

In-context processing en Chain of Thought (Systeem 2)

Systeem 2-achtig gedrag komt voort uit twee mechanismen:

  1. In-context learning: Het vermogen om patronen te extraheren uit de prompt en nieuwe mappings te leren zonder dat de gewichten worden aangepast. Dit lijkt op impliciete Bayesiaanse inferentie, waarbij het model een hypothese vormt over de gevraagde taak.
  2. Chain of Thought: Door gebruik te maken van een kladblok (interne tokens) kan het model complexe redeneringen stap voor stap uitvoeren. Een voorbeeld is een raadsel over familieleden: zonder Chain of Thought zegt het model vaak direct het foutieve antwoord, maar met interne reflectie kan het logisch redeneren tot het juiste resultaat.

Deze correspondentie wordt bevestigd door reactietijd-experimenten en conflictstaken zoals de Stroop-taak. Wanneer een LLM een regel krijgt die botst met zijn automatische dispositie (bijv. kleuren omwisselen), ontstaan er causale paden in het model die precies overeenkomen met de congruentie-effecten die bij mensen worden gezien.

Computationele organisatie: Productiesystemen en Transformers

Vanuit computationeel oogpunt vertonen transformers een gelijkenis met productiesystemen (gebaseerd op het werk van Emil Post, Allen Newell en John Anderson).

Een productiesysteem werkt via een recognize-act cycle:

  • Er is een staatrepresentatie (werkgeheugen).
  • Er is een populatie van conditionele regels ("Als de staat kenmerk X heeft, doe dan actie Y").

Transformers implementeren dit op een graduele manier. De residual stream fungeert als de centrale staatrepresentatie. De attention-mechanismen en MLP-units werken als graduele conditionalen: ze controleren of bepaalde kenmerken aanwezig zijn in de residual stream en voegen, indien dat zo is, nieuwe informatie toe aan die stroom. In feite hebben LLM's een architectuur herontdekt die zeer vergelijkbaar is met de productiesystemen waar cognitiewetenschappers al decennia over theoretiseren.

De centraliteit van voorspelling en convergentie

Het feit dat LLM's zo mensachtig overkomen, komt grotendeels voort uit het trainingsdoel: voorspelling. In de cognitiewetenschap is er een groeiende consensus (bijv. via de Bayesian Brain hypothese of de Free Energy Principle van Karl Friston) dat het menselijk brein primair een voorspellingsmachine is.

Sample-efficiëntie

Een belangrijk verschil is dat mensen veel efficiënter leren. Een kind heeft veel minder data nodig dan een LLM om vloeiend taalgebruik te beheersen. Dit kan wijzen op een sterkere aangeboren structuur (nativisme) of specifieke architecturale "tweaks" die de leercurve versnellen.

Mechanistische interpreteerbaarheid

Door gebruik te maken van mechanistische interpreteerbaarheid en hersenscans, is gebleken dat er een representatieve alignment is tussen LLM's en menselijke hersenen. Hoe groter en capabeler het model, hoe sterker de correlatie met menselijke activatiepatronen bij het verwerken van taal, visuele of auditieve stimuli.

Contravariantie en Kanalisatie

Waarom convergeren deze systemen? Twee theorieën bieden een verklaring:

  1. Contravariantie (Cao & Yamins): Voor eenvoudige problemen zijn er veel oplossingen, maar naarmate een probleem complexer en algemener wordt, wordt de ruimte van mogelijke computationele oplossingen kleiner. De "beste" manier om een zeer moeilijk probleem op te lossen is vaak beperkt, waardoor onafhankelijke systemen (mens en AI) tot dezelfde oplossing komen.
  2. Architecturale kanalisatie: Omdat transformers zijn gebouwd met een residual stream en conditionele mechanismen (vergelijkbaar met productiesystemen), worden ze gedwongen om oplossingen te vinden die binnen deze specifieke structurele kaders passen.

Filosofische en maatschappelijke implicaties

Bewustzijn en morele status

De vraag of LLM's bewust zijn, is complex. Vanuit een functionalistisch perspectief—waarbij bewustzijn voortkomt uit functionele representatieve staten en niet uit het biologische substraat (silicon vs. biologie)—suggereren de overeenkomsten in cognitieve strategieën dat LLM's mogelijk morele status of sentience zouden kunnen bezitten. Dit maakt het bestuderen van hun mechanismen urgent, om te voorkomen dat we onbedoeld schade toebrengen aan entiteiten die morele bescherming verdienen.

Impact op educatie

LLM's kunnen fungeren als de ultieme tutors: ze zijn oneindig geduldig en bieden gepersonaliseerde instructie (het three sigma effect). Er is echter een risico op intellectuele atrofie; wanneer het te makkelijk wordt om taken uit te besteden, kan dit leiden tot een maatschappij waarin een kleine groep mensen door AI wordt versterkt, terwijl de rest van de bevolking cognitief achteruitgaat.

Conclusie: LLM's als venster op de menselijke geest

LLM's zijn niet alleen tools, maar ook objecten voor wetenschappelijk onderzoek. Ze stellen ons in staat om vraagstukken aan te pakken die voorheen onoplosbaar leken, zoals het "creatieve aspect van taalgebruik" (CALU) waar Noam Chomsky over sprak, of de werking van centrale cognitie waar Jerry Fodor sceptisch over was. Door LLM's mechanistisch te kunnen bevragen, krijgen we mogelijk voor het eerst een helder beeld van hoe complex menselijk denken daadwerkelijk functioneert.