Dit artikel beschrijft een onderzoek naar het decoderen van innerlijke spraak door stil lezen als schaalbare proxy-taak te gebruiken. Met behulp van 19-kanaals EEG en een dataset van circa 240.000 woordpresentaties, werd een contrastieve decoder ontwikkeld die EEG-vensters uitlijnt met hidden-state embeddings van een groot taalmodel (LLM).
De belangrijkste bevindingen zijn:
- De decodering presteerde consistent boven het kansniveau en werkte ook voor zeldzame woorden.
- De nauwkeurigheid schaalt log-lineair met de hoeveelheid trainingsdata, wat suggereert dat er nog geen theoretisch plafond is bereikt.
- Analyse toont aan dat occipitale en posterior-temporale elektroden cruciaal zijn voor woordniveau-winst, terwijl contexttracking onafhankelijk hiervan blijft.
De conclusie is dat open-vocabulaire informatie op woordniveau succesvol kan worden hersteld uit EEG-signalen tijdens het stil lezen.
Het decoderen van stil lezen via non-invasieve EEG
Samenvatting
Het non-invasief decoderen van innerlijke spraak kampt met een fundamenteel dataprobleem: er kan geen corpus worden verzameld waarin hersenactiviteit wordt gekoppeld aan de spontane innerlijke monoloog van een persoon. De beschikbare proxy-paradigma's (zoals aangestuurde repetitieve en retrospectief gerapporteerde generatieve innerlijke spraak) zijn traag in acquisitie, slecht tijd-gekoppeld, en de naleving door proefpersonen is niet verifieerbaar.
Wij behandelen stil lezen daarom als een schaalbare proxy-taak en onderzoeken hoeveel lexicale en semantische informatie een contrastieve decoder hieruit kan extraheren. We rapporteren een open-vocabulaire analyse van ongeveer 240.000 woordpresentaties, opgenomen bij één enkel, dicht bemonsterd subject over 393 runs (circa 49 uur) van 19-kanaals EEG met droge elektroden.
Methodologie
Woorden uit een continue narratieve tekst werden gepresenteerd via rapid serial visual presentation (RSVP), waarbij de typografie bij elke trial werd gerandomiseerd om de identiteit van het woord gedeeltelijk te decorreleren van de visuele vorm op laag niveau.
De technische opzet bestond uit:
- Een convolutionele EEG-encoder, optioneel gevolgd door een causale transformer.
- Training met een contrastieve doelstelling in CLIP-stijl om korte EEG-vensters uit te lijnen met hidden-state embeddings van het gepresenteerde woord, afkomstig uit een groot taalmodel (LLM).
Resultaten en Analyse
De decodering werd geëvalueerd via word-grouped top-10 retrieval tegenover permutatie-baselines. De resultaten tonen het volgende aan:
- De prestaties lagen betrouwbaar boven de kansberekening.
- De methode kon worden uitgebreid naar woorden met een gemiddelde frequentie en zeldzame woorden.
- De prestaties schaalden log-lineair met het volume van de trainingsdata, zonder tekenen van verzadiging.
Uit aanvullende analyses bleek dat het verwijderen van occipitale en posterior-temporale elektroden de winst op woordniveau met ongeveer een derde verminderde, maar dat de contexttracking ongewijzigd bleef. Controle-analyses scheiden de decodering op woordniveau van de narratieve contexttracking en van een niet-neurale positionele prior die werd geïntroduceerd door de positionele embedding van de transformer.
Conclusie
Deze resultaten bewijzen dat open-vocabulaire informatie op woordniveau herstelbaar is uit EEG tijdens het stil lezen, en dat de decodering beperkt wordt door de hoeveelheid data in plaats van door een theoretisch plafond (verzadiging).
Het decoderen van stil lezen via non-invasieve EEG
Samenvatting
Het non-invasief decoderen van innerlijke spraak kampt met een fundamenteel dataprobleem: er kan geen corpus worden verzameld waarin hersenactiviteit wordt gekoppeld aan de spontane innerlijke monoloog van een persoon. De beschikbare proxy-paradigma's (zoals aangestuurde repetitieve en retrospectief gerapporteerde generatieve innerlijke spraak) zijn traag in acquisitie, slecht tijd-gekoppeld, en de naleving door proefpersonen is niet verifieerbaar.
Wij behandelen stil lezen daarom als een schaalbare proxy-taak en onderzoeken hoeveel lexicale en semantische informatie een contrastieve decoder hieruit kan extraheren. We rapporteren een open-vocabulaire analyse van ongeveer 240.000 woordpresentaties, opgenomen bij één enkel, dicht bemonsterd subject over 393 runs (circa 49 uur) van 19-kanaals EEG met droge elektroden.
Methodologie
Woorden uit een continue narratieve tekst werden gepresenteerd via rapid serial visual presentation (RSVP), waarbij de typografie bij elke trial werd gerandomiseerd om de identiteit van het woord gedeeltelijk te decorreleren van de visuele vorm op laag niveau.
De technische opzet bestond uit:
- Een convolutionele EEG-encoder, optioneel gevolgd door een causale transformer.
- Training met een contrastieve doelstelling in CLIP-stijl om korte EEG-vensters uit te lijnen met hidden-state embeddings van het gepresenteerde woord, afkomstig uit een groot taalmodel (LLM).
Resultaten en Analyse
De decodering werd geëvalueerd via word-grouped top-10 retrieval tegenover permutatie-baselines. De resultaten tonen het volgende aan:
- De prestaties lagen betrouwbaar boven de kansberekening.
- De methode kon worden uitgebreid naar woorden met een gemiddelde frequentie en zeldzame woorden.
- De prestaties schaalden log-lineair met het volume van de trainingsdata, zonder tekenen van verzadiging.
Uit aanvullende analyses bleek dat het verwijderen van occipitale en posterior-temporale elektroden de winst op woordniveau met ongeveer een derde verminderde, maar dat de contexttracking ongewijzigd bleef. Controle-analyses scheiden de decodering op woordniveau van de narratieve contexttracking en van een niet-neurale positionele prior die werd geïntroduceerd door de positionele embedding van de transformer.
Conclusie
Deze resultaten bewijzen dat open-vocabulaire informatie op woordniveau herstelbaar is uit EEG tijdens het stil lezen, en dat de decodering beperkt wordt door de hoeveelheid data in plaats van door een theoretisch plafond (verzadiging).
Groetjes,