Dit artikel onderzoekt of expliciete self-attention noodzakelijk is voor sterke prestaties en redeneren in sequentiemodellering. De auteur stelt dat standaard multi-head attention kan worden gezien als een vorm van tensor lifting, wat weliswaar expressief is, maar wiskundig ondoorzichtig.
Om dit op te lossen, introduceert de auteur een alternatieve architectuur gebaseerd op Grassmann-stromingen. In plaats van een attention-matrix te gebruiken, maakt de Causal Grassmann-laag gebruik van de volgende stappen:
- Lineaire reductie van token-toestanden.
- Codering van lokale token-paren als tweedimensionale subruimten op een Grassmann-variëteit via Plücker-coördinaten.
- Versmelting van deze kenmerken via gated mixing.
Uit tests blijkt dat deze modellen op de Wikitext-2 benchmark prestaties leveren die dicht bij Transformers liggen en dat een Grassmann-Plücker head op DistilBERT zelfs iets beter presteert op de SNLI-taak. Een belangrijk voordeel is de lineaire schaling in sequentielengte en de potentie voor een betere geometrische interpretatie van neuraal redeneren.
Attention is niet wat je nodig hebt
Abstract
We keren terug naar een basisvraag in sequentiemodellering: is expliciete self-attention daadwerkelijk noodzakelijk voor sterke prestaties en redeneren? We stellen dat standaard multi-head attention het beste kan worden gezien als een vorm van tensor lifting: verborgen vectoren worden afgebeeld in een hoogdimensionale ruimte van paarsgewijze interacties, en het leerproces verloopt door deze gelifte tensor te beperken via gradiëntafdaling. Dit mechanisme is uiterst expressief, maar wiskundig ondoorzichtig, omdat het na vele lagen zeer moeilijk wordt om het model te beschrijven met een kleine familie van expliciete invarianten.
Om een alternatief te verkennen, stellen we een attention-vrije architectuur voor die is gebaseerd op Grassmann-stromingen (Grassmann flows). In plaats van een $L \times L$ attention-matrix te vormen, voert onze Causal Grassmann-laag de volgende stappen uit:
- Het reduceert lineair de token-toestanden.
- Het codeert lokale token-paren als tweedimensionale subruimten op een Grassmann-variëteit via Plücker-coördinaten.
- Het versmelt deze geometrische kenmerken via gated mixing terug in de verborgen toestanden.
Informatie propageert dus via gecontroleerde deformaties van laag-rang subruimten over lokale vensters met meerdere schalen, waardoor de kernberekening plaatsvindt op een einddimensionale variëteit in plaats van in een ongestructureerde tensorruimte.
Op de Wikitext-2 benchmark voor taalmodellering behalen puur op Grassmann gebaseerde modellen met 13 tot 18 miljoen parameters validatie-perplexiteiten die binnen ongeveer 10 tot 15 procent liggen van Transformers van gelijke grootte. Bij de SNLI-taak voor natuurlijke taalinferentie presteert een Grassmann-Plücker head bovenop DistilBERT iets beter dan een Transformer head, met beste validatie- en testnauwkeurigheden van respectievelijk 0,8550 en 0,8538, vergeleken met 0,8545 en 0,8511.
We analyseren de complexiteit van Grassmann mixing, tonen een lineaire schaling in sequentielengte voor een vaste rang, en betogen dat dergelijke variëteit-gebaseerde ontwerpen een meer gestructureerde route bieden naar geometrische en invariantie-gebaseerde interpretaties van neuraal redeneren.
Attention is niet wat je nodig hebt
Abstract
We keren terug naar een basisvraag in sequentiemodellering: is expliciete self-attention daadwerkelijk noodzakelijk voor sterke prestaties en redeneren? We stellen dat standaard multi-head attention het beste kan worden gezien als een vorm van tensor lifting: verborgen vectoren worden afgebeeld in een hoogdimensionale ruimte van paarsgewijze interacties, en het leerproces verloopt door deze gelifte tensor te beperken via gradiëntafdaling. Dit mechanisme is uiterst expressief, maar wiskundig ondoorzichtig, omdat het na vele lagen zeer moeilijk wordt om het model te beschrijven met een kleine familie van expliciete invarianten.
Om een alternatief te verkennen, stellen we een attention-vrije architectuur voor die is gebaseerd op Grassmann-stromingen (Grassmann flows). In plaats van een $L \times L$ attention-matrix te vormen, voert onze Causal Grassmann-laag de volgende stappen uit:
- Het reduceert lineair de token-toestanden.
- Het codeert lokale token-paren als tweedimensionale subruimten op een Grassmann-variëteit via Plücker-coördinaten.
- Het versmelt deze geometrische kenmerken via gated mixing terug in de verborgen toestanden.
Informatie propageert dus via gecontroleerde deformaties van laag-rang subruimten over lokale vensters met meerdere schalen, waardoor de kernberekening plaatsvindt op een einddimensionale variëteit in plaats van in een ongestructureerde tensorruimte.
Op de Wikitext-2 benchmark voor taalmodellering behalen puur op Grassmann gebaseerde modellen met 13 tot 18 miljoen parameters validatie-perplexiteiten die binnen ongeveer 10 tot 15 procent liggen van Transformers van gelijke grootte. Bij de SNLI-taak voor natuurlijke taalinferentie presteert een Grassmann-Plücker head bovenop DistilBERT iets beter dan een Transformer head, met beste validatie- en testnauwkeurigheden van respectievelijk 0,8550 en 0,8538, vergeleken met 0,8545 en 0,8511.
We analyseren de complexiteit van Grassmann mixing, tonen een lineaire schaling in sequentielengte voor een vaste rang, en betogen dat dergelijke variëteit-gebaseerde ontwerpen een meer gestructureerde route bieden naar geometrische en invariantie-gebaseerde interpretaties van neuraal redeneren.
Groetjes,