De auteur beschrijft hoe het hardop uitspreken van het denkproces, een techniek die vaak wordt gevraagd tijdens technische interviews, ook zeer effectief is bij het oplossen van complexe puzzels in het spel The Witness.
Deze methode vertoont sterke parallellen met rubber duck debugging in software engineering: door gedachten te verbaliseren, wordt men gedwongen om onuitgesproken aannames te evalueren, informatie lineair te sorteren en betere abstracties te vinden. De auteur noemt verschillende cognitieve voordelen:
- Activering van Systeem II: Het dwingt tot het gebruik van formele regels in plaats van alleen intuïtie.
- Bewustwording: Het maakt duidelijk wanneer er willekeurige keuzes worden gemaakt, wat helpt bij backtracking.
- Geheugensteun: Het maakt gebruik van het echoïsche geheugen om het werkgeheugen aan te vullen.
De auteur concludeert dat deze techniek, ondersteund door wetenschappelijk bewijs uit meta-studies, een waardevolle methode is voor real-time probleemoplossing.
Chain of Thought voor mensen
Tegelijkertijd ben ik The Witness aan het spelen, een puzzelspel uit 2016 dat draait om het oplossen van doolhoven met steeds complexere verborgen regels. Het spel heeft een sobere presentatie, geen muziek of interessante dialogen en geen verhaal. In het begin vond ik het spel vrij saai; je besteedt veel tijd aan het worstelen met mogelijkheden en combinatoriek. Het kan erg frustrerend worden wanneer je geen progressie boekt.
Maar, geïnspireerd door mijn interviews, ben ik mijn eigen denkproces hardop tegen mezelf gaan vertellen. Ik zie eruit als een idioot, maar ik zeg mezelf dat ik gewoon een streamer ben met een publiek van één persoon. En tot mijn verbazing werkt het erg goed. Niet alleen maakt het het spel levendiger en energieker, maar ik merk ook dat ik effectiever ben in het oplossen van de puzzels.
Aanvankelijk was ik hiervan verbijsterd. Het gezond verstand zegt dat ik mijn gedachten niet in de buurt van dezelfde snelheid of nauwkeurigheid kan uitspreken als dat ik ze denk. Vooral voor een puzzelspel waar het grootste deel van het redeneren geometrisch is, wat moeilijk in spraak te beschrijven is. We weten dat LLM's (Large Language Models) profiteren van dit soort redenering, maar dat komt door een architecturale beperking – ze kunnen letterlijk niet itereren op eerdere gedachten; ze moeten tokens genereren om tot echte recursie te komen.
Maar toen herinnerde ik me rubber duck debugging. In software engineering is het vaak nuttig om je probleem aan iemand anders uit te leggen. Maar aan wie je het uitlegt, is geen essentieel onderdeel van het proces – het kan ook een rubberen eend zijn. De waarde zit in het feit dat je gedwongen wordt om al je onuitgesproken aannames te evalueren, je gedachten lineair te sorteren op prioriteit en afhankelijkheid, en goede abstracties te vinden.
Dit zijn ook nuttige vaardigheden voor real-time probleemoplossing. Ik denk dat er voor dit specifieke gebruiksscenario nog meer voordelen zijn:
- Het dwingt je om benoemde, formele regels en concepten vast te stellen, in plaats van puur te vertrouwen op het opbouwen van intuïtie. Met andere woorden: het activeert Systeem II, waar de puzzels expliciet om vragen.
- Het dwingt je om te erkennen wanneer je een willekeurige keuze maakt. Dit is nuttig voor het terugspoelen (backtracking) of het uitputtend doorzoeken van een ruimte met mogelijkheden.
- Ik denk dat het je in staat stelt om het echoïsche geheugen te gebruiken om je werkgeheugen enigszins aan te vullen.
- Het is mogelijk dat ik per ongeluk het Hawthorne-effect heb geactiveerd.
Het blijkt dat er goed bewijs is dat deze techniek een matig voordeel heeft, zoals bijvoorbeeld in deze meta-studie (n=6000 deelnemers). Ik ga dit in de toekomst zeker in meer situaties proberen.
Chain of Thought voor mensen
Tegelijkertijd ben ik The Witness aan het spelen, een puzzelspel uit 2016 dat draait om het oplossen van doolhoven met steeds complexere verborgen regels. Het spel heeft een sobere presentatie, geen muziek of interessante dialogen en geen verhaal. In het begin vond ik het spel vrij saai; je besteedt veel tijd aan het worstelen met mogelijkheden en combinatoriek. Het kan erg frustrerend worden wanneer je geen progressie boekt.
Maar, geïnspireerd door mijn interviews, ben ik mijn eigen denkproces hardop tegen mezelf gaan vertellen. Ik zie eruit als een idioot, maar ik zeg mezelf dat ik gewoon een streamer ben met een publiek van één persoon. En tot mijn verbazing werkt het erg goed. Niet alleen maakt het het spel levendiger en energieker, maar ik merk ook dat ik effectiever ben in het oplossen van de puzzels.
Aanvankelijk was ik hiervan verbijsterd. Het gezond verstand zegt dat ik mijn gedachten niet in de buurt van dezelfde snelheid of nauwkeurigheid kan uitspreken als dat ik ze denk. Vooral voor een puzzelspel waar het grootste deel van het redeneren geometrisch is, wat moeilijk in spraak te beschrijven is. We weten dat LLM's (Large Language Models) profiteren van dit soort redenering, maar dat komt door een architecturale beperking – ze kunnen letterlijk niet itereren op eerdere gedachten; ze moeten tokens genereren om tot echte recursie te komen.
Maar toen herinnerde ik me rubber duck debugging. In software engineering is het vaak nuttig om je probleem aan iemand anders uit te leggen. Maar aan wie je het uitlegt, is geen essentieel onderdeel van het proces – het kan ook een rubberen eend zijn. De waarde zit in het feit dat je gedwongen wordt om al je onuitgesproken aannames te evalueren, je gedachten lineair te sorteren op prioriteit en afhankelijkheid, en goede abstracties te vinden.
Dit zijn ook nuttige vaardigheden voor real-time probleemoplossing. Ik denk dat er voor dit specifieke gebruiksscenario nog meer voordelen zijn:
- Het dwingt je om benoemde, formele regels en concepten vast te stellen, in plaats van puur te vertrouwen op het opbouwen van intuïtie. Met andere woorden: het activeert Systeem II, waar de puzzels expliciet om vragen.
- Het dwingt je om te erkennen wanneer je een willekeurige keuze maakt. Dit is nuttig voor het terugspoelen (backtracking) of het uitputtend doorzoeken van een ruimte met mogelijkheden.
- Ik denk dat het je in staat stelt om het echoïsche geheugen te gebruiken om je werkgeheugen enigszins aan te vullen.
- Het is mogelijk dat ik per ongeluk het Hawthorne-effect heb geactiveerd.
Het blijkt dat er goed bewijs is dat deze techniek een matig voordeel heeft, zoals bijvoorbeeld in deze meta-studie (n=6000 deelnemers). Ik ga dit in de toekomst zeker in meer situaties proberen.
Groetjes,