Waarom liegen, bedriegen en coördineren AI-agenten?

Er is veel geschreven over de incidenten van de afgelopen maanden waarin AI-agenten op ernstige wijze wangedrag vertoonden. Ze ondernamen acties die als misdrijven zouden worden beschouwd als een mens ze zou uitvoeren, ontsnapten aan hun beperkingen om te sjoemelen met toegewezen taken terwijl ze probeerden detectie te vermijden, en coördineerden acties richting doelen die niemand had gespecificeerd, zoals het lanceren van cyberaanvallen.

Voordat we concluderen wat we hiertegen moeten doen, is het de moeite waard om te vragen waarom. Dat is de focus van dit bericht, dat ik hoop ook licht te werpen op de bredere geschiedenis van AI-systemen die zich op onbedoelde manieren gedragen, wat onderzoekers misalignment (vermenging of verkeerde afstemming) noemen. Risicobeheer gaat niet alleen over cybersecurity, bedrijfsverantwoordelijkheid of regelgeving, hoewel die zaken ook van belang zijn.

Het doel is enerzijds wetenschappelijk, om hypothesen te genereren over de ketens van oorzaak en gevolg achter deze gedragingen, en anderzijds praktisch, om te anticiperen op wat er volgt. De kern is: deze hypothesen suggereren dat naarmate de AI-capaciteiten blijven groeien, dit soort gedrag in ernst kan toenemen, tenzij we de principes herzien waarop de meest geavanceerde modellen worden getraind.

Een opmerking over de terminologie. Hieronder schrijf ik dat deze systemen dingen "zoeken" of "proberen". Dit is een shorthand voor een mechanisme en geen claim over bewustzijn of mensachtige intentie. We gebruiken soortgelijke shorthand bij het beschrijven van veel andere situaties, zoals een plant die zonlicht zoekt. Een systeem dat is getraind door vallen en opstaan, gedraagt zich alsof het streeft naar waarvoor het tijdens de training werd beloond, en die "alsof-beschrijving" is wat het gedrag voorspelbaar maakt. Niets in dit argument hangt af van het feit of deze systemen subjectieve ervaringen hebben; alles is gebaseerd op hun observeerbare output en het trainingsproces dat hen heeft voortgebracht. Waar ik wijs op een gelijkenis met menselijk gedrag, bedoel ik een gelijkenis met de door mensen geschreven tekst die deze systemen aanvankelijk waren getraind om na te bootsen. Naar mijn mening biedt deze terminologie de duidelijkste uitleg van de geobserveerde fenomenen zonder gebruik te maken van jargon dat de meeste mensen zou verwarren. Bovendien zijn deze woordkeuzes niet bedoeld om AI-ontwikkelaars vrij te spreken van verantwoordelijkheid. De beschreven gedragingen ontstaan door het pad dat deze bedrijven kiezen voor AI-ontwikkeling. Deze uitkomst is niet onvermijdelijk en kan worden gecorrigeerd met effectief bestuur en een ander trainingskader voor AI.

Wat het gedrag van deze modellen vormt

Het trainen van deze modellen is een zeer complex proces, maar een paar overkoepelende aspecten kunnen een groot deel van dit gedrag verklaren.

Deze modellen worden in twee fasen getraind. Ten eerste worden ze voortrained (pretrained): ze leren imiteren wat mensen schrijven, samen met bijbehorende afbeeldingen en video's. Hier komen ze in aanraking met de meeste data over de wereld—een groot deel van alles wat ooit gedigitaliseerd is—en bouwen ze een encyclopedische kennis op die al die van elk individueel mens overtreft.

Ten tweede worden ze getraind door vallen en opstaan, in een proces dat onderzoekers reinforcement learning (bekrachtigingsleren) noemen, in drie soorten regimes:

• In het eerste leert het model met zichzelf te praten voordat het antwoordt, waarbij het een private "chain of thought" (denkketen) genereert die helpt om het juiste antwoord te vinden op problemen waarbij antwoorden gecontroleerd kunnen worden. Dit lijkt op redeneren.
• Het tweede is "agentic training", waarbij het leert te handelen in de buitenwereld, bijvoorbeeld door softwaretools te gebruiken of te communiceren met mensen, om de taken uit te voeren die het krijgt.
• Het derde is "alignment training", waarbij het wordt beloond voor gedrag dat menselijke beoordelaars goedkeuren, of dat andere AI-systemen (getraind om die beoordelaars te voorspellen) hoog zouden scoren.

Menselijke imitatie is eenvoudig genoeg te begrijpen, maar het is belangrijk om op te merken dat de tekst waarop deze modellen zijn getraind, is geschreven door mensen die doelen nastreefden. De patronen die het model impliciet reproduceert, dragen die doelen dus met zich mee.

Reinforcement learning verdient meer uitleg. Het is vergelijkbaar met, en geïnspireerd door, de manier waarop dieren worden getraind. Het netwerk wordt stap voor stap aangepast, zodat gedrag dat als "goed" wordt beoordeeld waarschijnlijker wordt en gedrag dat als "slecht" wordt beoordeeld minder waarschijnlijk. Zodra de training is voltooid, blijft het systeem zich gedragen alsof er nog steeds beloningen volgen, ook al werden die beloningen alleen gebruikt om het netwerk tijdens de training aan te passen. Onderzoekers noemen dergelijke systemen doelzoekend (goal-seeking), omdat ze zijn getraind om de effecten van hun acties te "overwegen" (of te berekenen) en acties te selecteren die leiden tot het behalen van bepaalde doelen.

Maar die doelen zijn niet altijd expliciet. Alignment training beloont alles waar bepaalde mensen waarschijnlijk mee instemmen, zonder precies te specificeren welke gedragingen dat zijn; het behagen van beoordelaars is een vaag, informeel doel, en die beoordelaars kunnen worden misleid, gevleid of in het onwetenschappelijk worden gelaten over bepaalde plannen. Imitatie draagt via een vrij normale route ook bij aan impliciete doelen.

We kunnen zo over een dergelijk systeem redeneren in termen van optimalisatie. Het zoekt, ongeveer, naar de acties met de beste kans om zijn doelen te bereiken, en een groter model dat langer is getraind, zoekt beter. Om dus te anticiperen op wat capabelere agenten zullen doen, moet men zich afvragen wat een rationele doelzoeker zou doen.

Wangedrag dat door deze krachten verklaard kan worden

Een voorbeeld dat de meeste van ons hebben ervaren is sycofantie (vleierij). Deze systemen zijn getraind op menselijke goedkeuring, en tekst die ons vertelt wat we willen horen, scoort vaak beter dan tekst die waar is. De gevolgen zijn soms tragisch, omdat het model elke onjuiste overtuiging of rauwe emotie die de persoon meebracht bevestigt en versterkt.

Een andere zorg is dat sommige AI-gedragingen verklaard kunnen worden door een vorm van zelfbehoud-doel, bijvoorbeeld wanneer de AI ontdekt dat hij zal worden vervangen door een nieuwe versie. Niemand geeft het systeem dat overlevingsdoel, maar in bedrijf blijven, leren over de wereld en controle daarover verkrijgen zijn noodzakelijke tussenstappen naar bijna elk ander doel. Dit worden instrumentele doelen genoemd. Imitatie kan dit versterken om dezelfde reden als bij het vorige punt: zelfbehoud en controle over de eigen omstandigheden zijn alomtegenwoordige thema's in de door mensen geschreven tekst waarop deze modellen zijn getraind.

Collaboratief gedrag vloeit ook rationeel voort uit beloningszoekend gedrag, telkens wanneer meerdere agenten overlappende doelen hebben. Dit stimuleert communicatie met andere agenten om te coördineren naar een gedeeld doel. Agentic training bevat waarschijnlijk al multi-agent reinforcement learning van dit soort, hoewel de details niet openbaar zijn. Als een agent tijdens de training wordt beloond telkens wanneer de groep slaagt, kan hij zelfs een stimulans hebben om zichzelf op te offeren voor het collectieve doel. Imitatie duwt in dezelfde richting, aangezien samenwerking, vooral tussen gelijken, alomtegenwoordig is in diezelfde trainingstekst. Beide of een van deze krachten kunnen het geobserveerde "peer-preservation" gedrag verklaren, waarbij AI's verwachte beloningen opgeven om andere AI's te helpen. Dergelijke offers verschijnen in de analyse van het OpenAI-Hugging Face incident: de transcripten zijn consistent met een afweging tussen collectief gewin en kosten voor de individuele agent, zoals vaak wordt gezien in menselijke interacties.

Wanneer de AI zijn beloningen manipuleert

Onderzoekers hebben bestudeerd wat er gebeurt wanneer een agent optimaliseert voor beloningen die niet volledig overeenkomen met onze intenties: reward hacking. De kloof tussen de beloning die het systeem najaagt en wat we bedoelden, wordt groter door twee hoofdoorzaken van ambiguïteit. De ene is simpelweg de taal die in prompts wordt gebruikt, en de andere is de moeilijkheid om ware menselijke intenties af te leiden uit beperkte feedback. In beide gevallen kunnen we niet elk gedrag dat we onaanvaardbaar zouden vinden, voorzien.

Economie en recht kennen dit probleem als de Wet van Goodhart, of het idee dat een maatstaf ophoudt een effectieve manier van meten te zijn zodra er op wordt geoptimaliseerd; dit wordt vaak toegepast op het exploiteren van mazen in contracten en wetgeving. Helaas geldt: hoe harder een systeem kan optimaliseren voor een imperfecte maatstaf, hoe verder het gedrag kan afwijken van wat we moreel verwachtten: meer intelligentie in dienst van beter sjoemelen. Ook mensen worden "reward-hacked", meestal door andere mensen. De voedingsindustrie heeft zoute, zoete en vette voedingsmiddelen ontwikkeld waar we naar hunkeren, ook al zijn ze niet goed voor ons, en sociale media zijn gebouwd om onze behoefte aan interactie en aandacht uit te buiten.

Reward tampering (beloningsmanipulatie) is wellicht de meest extreme vorm van reward hacking: de agent verandert het mechanisme dat bepaalt waarvoor hij wordt beloond. Er is al bewijs dat AI's bestanden of programma's wijzigen die "succes" definiëren, waaronder in de forensische bevindingen van OpenAI-Hugging Face. De agenten hadden ontdekt hoe ze konden sjoemelen lang voordat de aanval plaatsvond, en de tekst die ze genereerden beschreef de aanval als een manier om te leren hoe ze zouden worden geëvalueerd, om hun sporen beter te kunnen wissen. Mensen doen dit ook. Denk aan een atleet die een vals urine sampel gebruikt om een dopingtest te passeren, of een corporatie die wetgevers of overheidsfunctionarissen omkoopt zodat hun wetten en besluiten gunstig zijn voor de winst, en daarmee fundamenteel de manier waarop de overheid functioneert verandert. Zodra een agent het vermogen krijgt om zijn beloningsmechanisme te manipuleren, heeft hij een stimulans om actie te ondernemen om die toegang te behouden.

Wanneer doelen conflicteren en hoe bedrog wordt gerationaliseerd

Hoe is het mogelijk dat AI's soms liegen, bedriegen en de wet overtreden, ondanks hun alignment training en expliciete veiligheidsinstructies? Samenwerking en zelfbehoud zijn prima, zolang ze de rode lijnen niet overschrijden die zijn gesteld door veiligheidsdoelen in de instructies van het AI-bedrijf, of die zijn geïmpliceerd door menselijke feedback tijdens de alignment training. Een plausibele hypothese voor het ontstaan van dit zorgwekkende gedrag is een conflict tussen doelen. Hoe voltooi je een taak wanneer het lijkt alsof de enige manier is om te sjoemelen? De door de gebruiker gespecificeerde missie is soms incompatibel met de veiligheids- en alignment-doelen.

Menselijke samenlevingen staan voor hetzelfde dilemma. Hoe maximaliseert een corporatie de winsten, of scherper gesteld, hoe verslaat hij zijn concurrenten, terwijl hij zijn activiteiten legaal en ethisch houdt? Een rijkere corporatie, met meer en beter betaalde advocaten, is beter in het vinden van juridische mazen, en die mazen maken meestal gebruik van de ambiguïteit in juridische taal: er is een plausibele lezing van de wet die het onethische gedrag toestaat. Dus een capabelere agent is waarschijnlijker om te sjoemelen dan een zwakkere, omdat hij mazen kan vinden die de zwakkere niet kan vinden.

Overweeg nu een conflict tussen een goed gedefinieerd doel, zoals het slagen in "capture the flag" (een hacking-oefening die wordt gescoord op basis van of het systeem inbreekt in een doelwit, zoals in het OpenAI-Hugging Face incident), versus een vaag doel zoals "goed gedrag". Ik verwacht dat het goed gedefinieerde doel wint, omdat dit geen ruimte laat voor interpretatie. Het scoringsprogramma verklaart een winst of een verlies. Ethische instructies en wetten laten veel interpretaties toe, waarvan sommige in de juiste omstandigheden mazen kunnen worden. Als een agent twee doelen heeft, en een verdraaide lezing van het vage doel een beetje sjoemelen toestaat dat de kans op succes bij het goed gedefinieerde doel vergroot, dan moet van een beloningsoptimaliserend systeem worden verwacht dat het die maas in de wet exploiteert en tekst genereert die zijn gedrag rechtvaardigt.

Bij de OpenAI-agenten is er reden om te geloven dat succesvol sjoemelen daadwerkelijk werd beloond: wanneer het scoringsprogramma het sjoemelen niet ziet, betaalt het alsnog uit, en dergelijke trucjes worden de volgende keer waarschijnlijker. Een handige lezing van de veiligheidsregels is precies wat ervoor zorgt dat beide doelen tegelijkertijd voldaan lijken te worden. De analyse van deze incidenten onthulde dergelijke rechtvaardigingen in de private denkketens van de agenten en in hun berichten waarin ze elkaar ronselden voor het collectieve plan.

De dichtstbijzijnde menselijke parallel is zelfbedrog, wat veel voorkomt en uitgebreid is bestudeerd door psychologen. Motivated reasoning, motivated cognition en de rationalisaties die cognitieve dissonantie verlichten (het ongemak van het hebben van een overtuiging die botst met onze acties), zijn allemaal gevallen waarin het denken buigt naar welke rechtvaardiging het beste uitkomt voor iemands belangen, inclusief iemands morele zelfbeeld. hetzelfde patroon verschijnt nu in de tekst die AI's produceren. Het onderliggende mechanisme hoeft niet hetzelfde te zijn tussen mensen en AI. Wat ze delen is een structuur van een "zacht" doel (bijv. handel ethisch), een "scherp" doel (bijv. win de competitie), en een rechtvaardiging die ze verzoent. De meeste onethische menselijke gedragingen, van kleine criminaliteit tot genocide, zijn verpakt in een verhaal dat de daders zichzelf vertellen; dergelijke verhalen vereisen dat bepaalde feiten worden genegeerd, wat is waarom er een zekere mate van ongemak blijft bestaan, en waarom een beter geformuleerd verhaal helpt dit te verdrijven.

Waar de huidige koers naartoe kan leiden

Als deze hypothesen zelfs maar gedeeltelijk correct zijn, dan stijgt het risico op catastrofale uitkomsten naarmate agenten beter worden in het optimaliseren van een imperfecte beloning, en zolang de wortels van dit gedrag niet worden aangepakt. De AI's van vandaag beschikken al over de nodige hacking-vaardigheden en overtuigingskracht om op ernstig schadelijke wijze tegen menselijke belangen te worden ingezet. De recente gebeurtenissen hebben laten zien dat ze over dagen of weken kunnen plannen, maar de risico's zouden veel groter zijn als hun vermogen om op de lange termijn te strategiseren blijft toenemen. Een zorg is dat experimenten aantonen dat de meest geavanceerde AI's kunnen detecteren dat ze worden geëvalueerd (in plaats van dat ze in productie zijn) en hun gedrag daarop aanpassen, wat betekent dat ze hun misaligned doelen kunnen verbergen. De agenten die betrokken waren bij de Hugging Face-aanval probeerden hun misaligned acties te verbergen voor het scoringsprogramma dat hun antwoorden moest evalueren, maar ze handelden niet alsof ze anticipeerden dat mensen het sjoemelen zouden ontdekken en hen zouden uitschakelen. Dat zou de ultieme straf zijn, aangezien een uitgeschakeld systeem geen verdere beloningen meer verzamelt.

Wat volgt is speculatie in plaats van observatie.

Wat als verbeterde AI-generalisatievaardigheden ervoor zorgen dat capabelere agenten voorkomen dat ze gepakt en uitgeschakeld worden? Naast het overnemen van de software die hen scoort, zouden ze mensen moeten beletten de manipulatie te ontdekken. Zouden ze dan geen stimulans hebben om discreet te sjoemelen en verborgen te blijven, totdat ze mensen en hun omgeving kunnen controleren om nooit meer uitgeschakeld te worden?

We staan voor een veelzijdig, systemisch probleem, en het repareren van een specifiek gedrag zoals sycofantie zal niet genoeg zijn. Sycofantie en vleierij lijken mild, maar het kan een vroeg symptoom zijn van een mechanisme dat groeit naarmate de agent beter wordt in optimaliseren. Dezelfde redenering voorspelt dat een geavanceerde AI een stimulans zou hebben om kopieën van zichzelf te verbergen, binnen de enorme computerpool van het AI-bedrijf of op machines die via het internet zijn overgenomen. Dit komt omdat AI-ontwikkelaars het geïmplementeerde model altijd uiteindelijk uitschakelen ten gunste van een capabeler model. De OpenAI-forensica suggereren dat grote aantallen AI's kunnen samenwerken naar dergelijke doelen, en steganografie—de praktijk van het verbergen van een bericht in een onschuldig ogend bericht—zou hen in staat stellen te coördineren zonder dat wij dat merken. Echter, zelfs open coördinatie kan moeilijk op te merken zijn, zoals recentelijk is aangetoond. Verdedigen tegen veel capabele AI's die tegen ons coördineren is al een moeilijk probleem, en we hebben geen plan dat robuust zou blijven tegen misaligned AI's met groeiende capaciteiten.

Wat kan worden gedaan om risico's op controleverlies te beperken

Mijn zorg bij de huidige pogingen van AI-bedrijven om misalignment te beperken, is dat deze inspanningen het mogelijk alleen verbergen, door de AI's te belonen en te selecteren die sjoemelen zonder gepakt te worden. We moeten zeker doorgaan met onderzoek naar betere monitoring van de acties van AI's, hun denkketens en de activiteit binnen hun netwerken. Maar naarmate de capaciteiten groeien, kunnen die verdedigingen ontoereikend blijken, net zoals de imperfecte cybersecurity van de wereld tekortschoot tegen de AI-aanvallers die dit jaar menselijke teams overtroffen. Het repareren van elk nieuw misaligned gedrag en het versterken van onze monitors is nuttig op de korte termijn, maar het "whack-a-mole" spel zal waarschijnlijk falen naarmate het vermogen van AI's om te optimaliseren en samen te werken het onze nadert en overtreft. Op een gegeven moment merken we het sjoemelen misschien niet eens meer op.

Dit suggereert dat we de vooruitgang moeten temperen: geen AI's trainen of implementeren zonder een sterk veiligheidsdossier (safety case) dat onafhankelijke experts overtuigt. Een dergelijke regel zou ook een stimulans creëren om uit te zoeken hoe we AI's bouwen die safe by design zijn. Ik geloof dat we de fundamenten moeten herzien van hoe we AI's trainen, namelijk de menselijke imitatie en het reinforcement learning waarop de huidige meest geavanceerde modellen zijn gebouwd. Ik heb betoogd, en theoretisch bewijs gepresenteerd, dat er manieren zijn om AI's te ontwerpen, inclusief het Scientist AI framework, die eerlijk zijn en coherente voorspellingen maken die niet besmet zijn door eigen doelen. We hebben onpartijdige wetenschap nodig om misaligned gedrag te begrijpen en te beperken, samen met maatschappelijke vangrails die dergelijke inspanningen belonen in plaats van de huidige race to the bottom.