In dit artikel reflecteert Martin Fowler op de herkenbaarheid van teksten geschreven door Large Language Models (LLM's), wat hij de "LLM-stem" noemt. Hij beschrijft dit als een vorm van de uncanny valley in proza: teksten die weliswaar vloeiend zijn, maar zielloos aanvoelen.
De belangrijkste inzichten zijn:
- Het risico van AI-concepten: Fowler adviseert auteurs om LLM's niet te gebruiken voor eerste concepten, omdat de specifieke AI-stijl zeer moeilijk volledig te verwijderen is, zelfs na menselijke bewerking.
- Schrijven als cognitief proces: Schrijven is voor de auteur een essentieel instrument om na te denken en verwarring te overwinnen. Door het schrijfproces uit te besteden, besteedt men in feite ook het denken en het begrip uit.
- Menselijke communicatie: Om echt met mensen te communiceren, moet de menselijkheid in het proza zichtbaar blijven. Fowler raadt aan om teksten hardop uit te spreken om dit te waarborgen.
- Nuances en uitzonderingen: Hij erkent dat AI waardevol is in specifieke gevallen, zoals bij mensen met fysieke beperkingen (bijv. Parkinson), bij vertalingen voor non-native speakers, of bij puur administratieve rapportages.
Fowler concludeert dat het behouden van de eigen schrijfvorm cruciaal is voor zowel persoonlijke intellectuele groei als authentieke menselijke interactie.
De LLM-stem
Soms krijg ik bij het lezen van een bericht het groeiende gevoel dat ik naar de output van een LLM (Large Language Model) kijk. Ik kan niet precies definiëren waarom, hoewel er bekende kenmerken zijn (het gaat niet om de gedachtestreepjes, maar om de "draagmuur-wandtapijten"). Wanneer dit gebeurt, neemt mijn zin om verder te lezen af, soms tot op het punt van afkeer.
Er zijn tools die beweren het verschil te kunnen zien tussen door een LLM geschreven proza en het ouderwetse biologische product. Ik ben daar terughoudend in, mede door scepsis over de nauwkeurigheid, maar ook omdat het de plank misslaat. De reactie op de "LLM-stem" is een menselijke reactie; het gevoel dat we ons in een uncanny valley (griezelige vallei) van proza bevinden. Tegen de tijd dat ik naar een tool zou grijpen om te bepalen wat ik lees, is het al te laat, zelfs als die tool me vol vertrouwen vertelt dat er geen LLM aan te pas is gekomen.
Ik ben ook wantrouwig over mijn eigen vermogen om de LLM-stem nauwkeurig te herkennen. Taal verandert na verloop van tijd, en een veelvoorkomend teken van ouderdom is klagen over de taal van de jeugd. Ik ben geneigd te reageren op proza dat spreekt over het "adopteren van een nieuwe sales motion" of een "scherpe samenvatting van het nieuws". Maar ik heb deze constructies ook uit menselijke monden horen komen, dus dat is eerder een generatieverschil dan een verschil tussen koolstof en silicium. (En als gedeponeerde Brit: laat me niet beginnen over amerikanismen, ik ben zeker dat ik ze binnenkort gewend ben.)
Op dit moment dring ik er bij auteurs op aan om extra waakzaam te zijn voor de LLM-stem. In het bijzonder raad ik auteurs sterk aan om niet in de val te trappen door een LLM een eerste concept te laten schrijven. Zelfs als dit door een mens wordt bewerkt, is het zeer moeilijk om de LLM-stem volledig te verwijderen, wat leidt tot de reactie van de uncanny valley [^1]. Zelfs het accepteren van suggesties voor herformuleringen is gevaarlijk. Ik heb gehoord van mensen die LLM's gebruiken om een outline en structuur te ontwikkelen; dat is wellicht acceptabel, maar alleen zolang het bij een outline blijft [^2].
Auteurs moeten het proza zelf invullen.
Spreek je tekst uit
Het hardop (of in jezelf) uitspreken van je tekst is in het tijdperk van LLM's zelfs nog belangrijker. Ik spreek gewoonlijk de woorden in mijn hoofd uit en schrijf ze dan op (om ze daarna weer te bewerken). Dit advies is bijzonder belangrijk voor iedereen die regelmatig wil communiceren via geschreven tekst. Zoals veel zaken berust het leren om een goede schrijver te worden op veel oefening. Het is een vaardigheid die de tijd waard is om te verwerven, maar overgave aan een LLM zal elke vooruitgang ondermijnen.
Na verloop van tijd kan het zijn dat LLM's zo goed worden dat we het verschil niet meer kunnen zien. Op veel vlakken is dat zorgwekkender. Net als de meeste schrijvers beschouw ik schrijven als een bijna essentieel instrument om na te denken. Vaak is het pas door iets op te schrijven dat ik mijn gedachten over een onderwerp echt coherent kan krijgen. Ik ben vaak begonnen aan een essay terwijl ik wist dat ik iets niet echt begreep, maar de handeling van het worstelen met de woorden dwong me om mijn verwarring te overwinnen. Naarmate meer mensen het schrijven delegeren aan LLM's, zullen ze ook het denken en het begrip delegeren aan LLM's. Dat wil ik niet doen; waar is dan nog het plezier van het schrijven?
Uitzonderingen en nuances
Hoewel het vermijden van de LLM-stem een algemene regel is, is het geen absolute. Een belangrijk voorbeeld is dat van Jim Highsmith (die bijdraagt aan deze site). Hij vindt dat werken met een LLM essentieel is voor zijn schrijfproces om de gevolgen van de ziekte van Parkinson te overwinnen. Ik neem graag de LLM-stem voor lief om de wijsheid van mijn oude vriend te kunnen blijven consumeren.
Een complexer geval is dat van vertalingen. Veel van mijn collega's voelen zich niet prettig in het Engels; het is hun tweede of vierde taal. Sommigen hebben ontdekt dat LLM-vertalingen een belangrijk onderdeel zijn van hun communicatie met ons, die veel minder Marathi kennen. Maar ik zou nog steeds de onhandige teksten van een echt mens verkiezen boven de vloeiende maar zielloze LLM.
Er zijn situaties waarin het redelijk zou zijn voor zelfs een moedertaalspreker van het Engels om de LLM de tekst te laten schrijven. Zo wanneer ik een formele brief aan een instantie schrijf, of een rapport voorbereid waarvan ik vermoed dat niemand het ooit zal lezen [^3]. Misschien wordt de meeste documentatie in de toekomst alleen nog maar gelezen door LLM's, en hebben zij geen zorgen over de uncanny valley. Maar als ik met mensen wil communiceren, moet mijn menselijkheid uit mijn proza stralen (of in ieder sijpelen).
***
[^1]: Zeer moeilijk, maar niet onmogelijk. Ik ben een geval tegengekomen waarvan ik weet dat de eerste conceptversie volledig door een LLM was gedaan, maar ik detecteerde geen LLM-stem toen ik het uiteindelijke stuk las. Er was echter wel een professionele redacteur bij een groot periodiek blad nodig om het op te schonen. [^2]: Mijn beleid op deze site is dat iedereen die AI gebruikt om hen te helpen schrijven, moet verklaren hoe ze dit hebben gedaan, meestal in de dankwoord-sectie. Dit is enerzijds voor de transparantie, en anderzijds zodat lezers nuttige manieren kunnen leren om AI te gebruiken. In mijn eigen geval gebruik ik AI niet voor het genereren van proza, noch voor hulp bij de structuur. De enige manier waarop ik het gebruik voor het schrijven, is als zoekinstrument (waarbij ik alle informatie verifieer door naar de bron te gaan). [^3]: Michael Nygard merkte op: "Daar probeer je echt niet gedachten van de ene persoon naar andere mensen te communiceren. Je communiceert met een proces in plaats van met een mens. Een mens opent misschien de envelop, maar die persoon fungeert als een onderdeel in een cybernetisch organisme."
Dankwoord
Alessio Ferri, Caer Sanders, Ian Cartwright, Jie Jessie Xia, Joshua Kerievsky, Michael Feathers, Michael Nygard, Scott Davies en Wei Zhang hebben commentaar gegeven op concepten van dit bericht.
Ik heb op geen enkele manier AI of LLM's gebruikt bij het schrijven van dit bericht.
De LLM-stem
Soms krijg ik bij het lezen van een bericht het groeiende gevoel dat ik naar de output van een LLM (Large Language Model) kijk. Ik kan niet precies definiëren waarom, hoewel er bekende kenmerken zijn (het gaat niet om de gedachtestreepjes, maar om de "draagmuur-wandtapijten"). Wanneer dit gebeurt, neemt mijn zin om verder te lezen af, soms tot op het punt van afkeer.
Er zijn tools die beweren het verschil te kunnen zien tussen door een LLM geschreven proza en het ouderwetse biologische product. Ik ben daar terughoudend in, mede door scepsis over de nauwkeurigheid, maar ook omdat het de plank misslaat. De reactie op de "LLM-stem" is een menselijke reactie; het gevoel dat we ons in een uncanny valley (griezelige vallei) van proza bevinden. Tegen de tijd dat ik naar een tool zou grijpen om te bepalen wat ik lees, is het al te laat, zelfs als die tool me vol vertrouwen vertelt dat er geen LLM aan te pas is gekomen.
Ik ben ook wantrouwig over mijn eigen vermogen om de LLM-stem nauwkeurig te herkennen. Taal verandert na verloop van tijd, en een veelvoorkomend teken van ouderdom is klagen over de taal van de jeugd. Ik ben geneigd te reageren op proza dat spreekt over het "adopteren van een nieuwe sales motion" of een "scherpe samenvatting van het nieuws". Maar ik heb deze constructies ook uit menselijke monden horen komen, dus dat is eerder een generatieverschil dan een verschil tussen koolstof en silicium. (En als gedeponeerde Brit: laat me niet beginnen over amerikanismen, ik ben zeker dat ik ze binnenkort gewend ben.)
Op dit moment dring ik er bij auteurs op aan om extra waakzaam te zijn voor de LLM-stem. In het bijzonder raad ik auteurs sterk aan om niet in de val te trappen door een LLM een eerste concept te laten schrijven. Zelfs als dit door een mens wordt bewerkt, is het zeer moeilijk om de LLM-stem volledig te verwijderen, wat leidt tot de reactie van de uncanny valley [^1]. Zelfs het accepteren van suggesties voor herformuleringen is gevaarlijk. Ik heb gehoord van mensen die LLM's gebruiken om een outline en structuur te ontwikkelen; dat is wellicht acceptabel, maar alleen zolang het bij een outline blijft [^2].
Auteurs moeten het proza zelf invullen.
Spreek je tekst uit
Het hardop (of in jezelf) uitspreken van je tekst is in het tijdperk van LLM's zelfs nog belangrijker. Ik spreek gewoonlijk de woorden in mijn hoofd uit en schrijf ze dan op (om ze daarna weer te bewerken). Dit advies is bijzonder belangrijk voor iedereen die regelmatig wil communiceren via geschreven tekst. Zoals veel zaken berust het leren om een goede schrijver te worden op veel oefening. Het is een vaardigheid die de tijd waard is om te verwerven, maar overgave aan een LLM zal elke vooruitgang ondermijnen.
Na verloop van tijd kan het zijn dat LLM's zo goed worden dat we het verschil niet meer kunnen zien. Op veel vlakken is dat zorgwekkender. Net als de meeste schrijvers beschouw ik schrijven als een bijna essentieel instrument om na te denken. Vaak is het pas door iets op te schrijven dat ik mijn gedachten over een onderwerp echt coherent kan krijgen. Ik ben vaak begonnen aan een essay terwijl ik wist dat ik iets niet echt begreep, maar de handeling van het worstelen met de woorden dwong me om mijn verwarring te overwinnen. Naarmate meer mensen het schrijven delegeren aan LLM's, zullen ze ook het denken en het begrip delegeren aan LLM's. Dat wil ik niet doen; waar is dan nog het plezier van het schrijven?
Uitzonderingen en nuances
Hoewel het vermijden van de LLM-stem een algemene regel is, is het geen absolute. Een belangrijk voorbeeld is dat van Jim Highsmith (die bijdraagt aan deze site). Hij vindt dat werken met een LLM essentieel is voor zijn schrijfproces om de gevolgen van de ziekte van Parkinson te overwinnen. Ik neem graag de LLM-stem voor lief om de wijsheid van mijn oude vriend te kunnen blijven consumeren.
Een complexer geval is dat van vertalingen. Veel van mijn collega's voelen zich niet prettig in het Engels; het is hun tweede of vierde taal. Sommigen hebben ontdekt dat LLM-vertalingen een belangrijk onderdeel zijn van hun communicatie met ons, die veel minder Marathi kennen. Maar ik zou nog steeds de onhandige teksten van een echt mens verkiezen boven de vloeiende maar zielloze LLM.
Er zijn situaties waarin het redelijk zou zijn voor zelfs een moedertaalspreker van het Engels om de LLM de tekst te laten schrijven. Zo wanneer ik een formele brief aan een instantie schrijf, of een rapport voorbereid waarvan ik vermoed dat niemand het ooit zal lezen [^3]. Misschien wordt de meeste documentatie in de toekomst alleen nog maar gelezen door LLM's, en hebben zij geen zorgen over de uncanny valley. Maar als ik met mensen wil communiceren, moet mijn menselijkheid uit mijn proza stralen (of in ieder sijpelen).
***
[^1]: Zeer moeilijk, maar niet onmogelijk. Ik ben een geval tegengekomen waarvan ik weet dat de eerste conceptversie volledig door een LLM was gedaan, maar ik detecteerde geen LLM-stem toen ik het uiteindelijke stuk las. Er was echter wel een professionele redacteur bij een groot periodiek blad nodig om het op te schonen. [^2]: Mijn beleid op deze site is dat iedereen die AI gebruikt om hen te helpen schrijven, moet verklaren hoe ze dit hebben gedaan, meestal in de dankwoord-sectie. Dit is enerzijds voor de transparantie, en anderzijds zodat lezers nuttige manieren kunnen leren om AI te gebruiken. In mijn eigen geval gebruik ik AI niet voor het genereren van proza, noch voor hulp bij de structuur. De enige manier waarop ik het gebruik voor het schrijven, is als zoekinstrument (waarbij ik alle informatie verifieer door naar de bron te gaan). [^3]: Michael Nygard merkte op: "Daar probeer je echt niet gedachten van de ene persoon naar andere mensen te communiceren. Je communiceert met een proces in plaats van met een mens. Een mens opent misschien de envelop, maar die persoon fungeert als een onderdeel in een cybernetisch organisme."
Dankwoord
Alessio Ferri, Caer Sanders, Ian Cartwright, Jie Jessie Xia, Joshua Kerievsky, Michael Feathers, Michael Nygard, Scott Davies en Wei Zhang hebben commentaar gegeven op concepten van dit bericht.
Ik heb op geen enkele manier AI of LLM's gebruikt bij het schrijven van dit bericht.
Groetjes,