AI-tekstwatermerken en kwaliteitsverlies

Aangezien de focus van AI-labs is verschoven naar de productie van code, denk ik dat de geschreven output van de modellen aanzienlijk verslechterd is [1]. Maar het blijft interessant om te onderzoeken of watermerken dit nog erger kunnen maken.

Ik vond de discussie rond het recente bericht van technologie-schrijver John Gruber, Anthropic’s ‘Watermark’ Text Adulteration in Claude Is a Perversion of Writing, zeer interessant. Over watermerken schreef Gruber:

"Het is onaanvaardbaar dat een tool een fractie van de helderheid, coherentie, betekenis, kwaliteit, etc. opoffert voor het doel om verborgen aanwijzingen in de tekst in te bedden die wijzen op de herkomst."

Hij stuitte op veel tegenstand; velen debatteerden over hoe je kwaliteit überhaupt zou kunnen meten of definiëren. Sommigen voerden echter aan dat watermerken de kwaliteit helemaal niet beïnvloeden: het is in wezen niets anders dan het gebruik van verschillende willekeurige getallen om de tekst te genereren. Daniel Jalkut, naar wie Gruber verwees in zijn follow-up, publiceerde een artikel getiteld AI Can’t Adulterate its Own Writing, waarin hij schreef:

"...er zijn ook manieren om het algoritme aan te passen die de willekeur niet verminderen. Bijvoorbeeld, als een willekeurige getallengenerator routinematig de volgorde van de cijfers in een gegenereerd getal zou omdraaien, zou de willekeur hetzelfde blijven."

In een andere discussie werd het beschreven als het in feite omwisselen van twee zijden van een dobbelsteen. In een vervolgstuk schreef Gruber:

"Ik hoop dat dat waar is. Ik geloof dat het mogelijk is dat het waar is. Ik denk dat het zeer onwaarschijnlijk is dat het waar is."

Ik denk dat Gruber gelijk heeft.

Kwaliteitsverlies over verschillende responsen

Anthropic doet een gedurfde claim: "Watermarking does not impact the quality of Claude’s output." Het paper waarnaar zij verwijzen en waarop hun ontwerp is gebaseerd (Google’s SynthID-Text, gepubliceerd in Nature in 2024), verzekert iedereen dat de methode de responskwaliteit behoudt.

Het is dan ook makkelijk om aan te nemen dat er om niets is opheven en dat ze inderdaad alleen wat willekeurige getallen omwisselen. Maar hun claim over het uitblijven van kwaliteitsimpact, die zij met mensen hebben getest, is gebaseerd op individuele responsen. Niet op de manier waarop miljoenen mensen deze systemen daadwerkelijk gebruiken: als heen-en-weer gesprekken, over een langere periode, via meerdere prompts en antwoorden.

De 56 pagina's tellende aanvullende PDF die zij onderaan linken, geeft meer informatie over de gebruikte methode, en suggereert dat de claim over het ontbreken van kwaliteitsimpact niet het hele verhaal vertelt. Opvallend is dat er wordt gesproken over een "diversity/detectability trade-off" (afweging tussen diversiteit en detecteerbaarheid):

"Hoewel non-distorsie van een enkele sequentie de kwaliteit van elke individuele respons garandeert, behoudt het niet noodzakelijkerwijs de diversiteit over meerdere responsen."

Wat betekent dit precies? Ze leggen verder uit:

"Wanneer er meerdere responsen op dezelfde prompt worden gesampled, is de gelijkenis tussen de responsen groter voor de watermerk-responsen dan voor de niet-watermerk-responsen."

Als ze werkelijk alleen één set willekeurige getallen door een andere hadden vervangen, zouden we geen dergelijk verschil zien ten opzichte van de niet-watermerk-responsen. Ze schrijven verder:

"Dit kan problematisch zijn in scenario's waar inter-responsdiversiteit belangrijk is, of kan de algehele kwaliteit van een systeem verlagen dat veel responsen genereert en vervolgens de beste selecteert."

In hun eigen woorden kan het dus toch de "algehele kwaliteit verlagen". Maar volgens hen is dat geen reden tot zorg, omdat dit je alleen zou raken als je geeft om "inter-responsdiversiteit", waarvoor ze slechts één voorbeeld geven: een systeem dat responsen genereert en selecteert.

Echter, "inter-responsdiversiteit" beïnvloedt ook hoe de meeste mensen deze systemen gebruiken. Vooral bij schrijftaken waarbij men creativiteit wenst.

Als reactie op het punt van Gruber over opgeofferde kwaliteit, voerden sommigen aan dat het model geen besef heeft van het beste volgende woord om te gebruiken voor wat een individu specifiek probeert over te brengen, en dat we ons daarom niet te veel moeten blindstaren op de keuze van het volgende woord. Maar dan zouden ze zeker moeten erkennen dat jij, als individu, wel merkt of het passend is zodra je het ziet.

Stel dat je prompt: "Ik vind het einde van deze zin niet leuk. Stel alsjeblieft een nieuwe voor: [zin]." Het model stelt een alternatief voor, maar je vindt het niet leuk. Geen probleem, je drukt op de 'retry'-knop. Nu word je echter beïnvloed door het watermerk, omdat je te maken krijgt met het probleem van de "inter-responsdiversiteit": alsof je met een geladen dobbelsteen gooit, zul je vaker vergelijkbare antwoorden zien dan bij een model zonder watermerk.

Natzir Turrado, een technisch consultant, heeft dit daadwerkelijk getest (artikel in het Spaans) door SynthID-Text te reproduceren op een open model met de instellingen uit het paper en een watermerksleutel. Hij vroeg het watermerk-model vijf keer om een gedenkwaardige reis naar een kuststadje te beschrijven. Vier van de vijf antwoorden begonnen bijna identiek: "My heart still sings/dances when I think back to my trip to the quaint coastal town of...". Bij het model zonder watermerk begonnen drie antwoorden op verschillende manieren [2].

En hoewel ze er niet naar lijken te hebben getest, zou hetzelfde wat antwoorden op dezelfde prompt hetzelfde maakt, ook kunnen gebeuren over verschillende prompts heen. Het watermerk kijkt namelijk alleen naar een klein, schuivend contextvenster bij het kiezen van het volgende token. Elke keer wanneer twee stukken tekst door dezelfde korte token-sequentie gaan, kunnen ze hetzelfde contextvenster recreëren, wat leidt tot een meer voorspelbare en minder diverse output. En teksten staan vol met identieke korte frases die dit gedrag kunnen triggeren.

Hier is een ander voorbeeld van wat dit beïnvloedt: een manier waarop mensen proberen het betrouwbaarheidsniveau van een antwoord te bepalen (om de kans op hallucinaties te verkleinen), is door dezelfde prompt meerdere keren te herhalen om de verschillende paden te verkennen die het model neemt. Ze kijken vervolgens naar de resultaten om te zien waar de consensus ligt. Ook dit wordt beïnvloed. Met watermerken kun je minder vertrouwen op de consensus die ontstaat, omdat de antwoorden nu minder onafhankelijk zijn: ze worden gestuurd door de watermerksleutel.

Wat interessant is, is dat terwijl het SynthID-paper wijst op het verlies van kwaliteit over responsen heen, ik nergens in het paper kon vinden dat ze dit specifieke aspect van de watermerkmethode met mensen hebben getest. Als ze dat niet hebben gedaan, hielden de prachtige resultaten van de menselijke tests geen rekening met het meest getroffen deel van de watermerkmethode [3].

Het lijkt me dan ook dat ze kwaliteit opofferen door het creatieve bereik van hun modellen te beperken via watermerken, en dat ze denken dat je het niet zult merken of dat het je niet zal schelen [4].

***

Voetnoten:

[1] Een patroon dat Jasmine Sun ontdekte bij het onderzoeken waarom AI-modellen niet goed schrijven. Hierover zei Katy Gero, dichter en computerwetenschapper: "Dezelfde grilligheid die de stem van GPT-2 fris maakte, maakte het ook gevoelig voor ander onvoorspelbaar gedrag. 'Als je een groot bedrijf bent als Google of OpenAI, wil je een chatbot die geld gaat opleveren. De chatbot die je geen geld oplevert, is degene die een vreemde is,' zei Gero."

[2] Natzir Turrado wees me op een reactie die hij op X ontving van een van de auteurs van het SynthID-paper, Sumanth Dathathri: "Er zijn veel gemakkelijke oplossingen voor het diversiteitsprobleem. Ik denk dat als je dezelfde prompt bij Gemini/Claude vele malen zou proberen, je zeer diverse responsen zou krijgen :)" Het is wat ambigu, maar ik vraag me af of zijn "gemakkelijke oplossing" het probleem verschuift naar de gebruiker. Voor mij leest het alsof hij erkent dat ze de vorige dobbelsteen hebben vervangen door een geladen exemplaar, maar dat de oplossing simpelweg is om hem "vele malen" (mijn nadruk) te gooien, zodat hij uiteindelijk op elke zijde zal landen. Als dat is wat hij zegt, waarom dan niet toegeven dat zo'n wijziging het systeem voor de gebruiker slechter maakt dan het voorheen was? Turrado reageerde: "Nieuwsgierig: welke gemakkelijke oplossingen gaan niet ten koste van de detectiesterkte?" Tot nu toe is er geen reactie van Dathathri gekomen.

[3] Een recent paper erkende dat dit een "onderbelichte fundamentele afweging is in LLM-watermerken: kwaliteit-diversiteit-kracht, d.w.z. de afweging tussen de kwaliteit van de watermerktekst, de outputdiversiteit onder het watermerkschema en de algehele sterkte van het watermerksignaal."

[4] Er zijn manieren om sommige effecten te verzachten zodat ze minder merkbaar zijn voor een individu dat een chat-app gebruikt, bijvoorbeeld door watermerksleutels te roteren tussen elk van hun verzoeken. Maar dit zijn geen oplossingen. Ze verdunnen alleen het effect en hebben hun eigen kosten, zoals het feit dat watermerken minder effectief zijn bij kortere teksten en kostbaarder om te detecteren. Zoals een andere studie opmerkte: "het bereiken van een perfecte, vervormingsvrije watermark is onmogelijk".