Ryan Lopopolo analyseert de veiligheidsrisico's bij het ontwikkelen van AI-agenten. Hij stelt dat makers vaak blind vertrouwen op de priors (vooraf ingestelde aannames) van een model voor domeinen waarin zij zelf geen expert zijn, wat leidt tot 'unknown-unknowns'.
Het kernprobleem is dat modellen vaak zijn getraind en beloond door niet-experts, waardoor ze gedrag vertonen dat experts als kwalitatief slecht ('slop') zouden bestempelen. Daarnaast bespreekt de auteur het gebrek aan langetermijncoherentie in agentisch werk en concludeert dat een universele, onhackbare beoordelaar onmogelijk is. Volgens Lopopolo is alignment een kwestie van irreducibele complexiteit, omdat de definitie van een toelaatbare shortcut afhangt van individuele waarden.
Aan wie is het uitgelijnd?
Over veiligheidsrisico's voor degenen die agenten bouwen: omdat je een expert bent in zorgen X, Y en Z, is je agent waarschijnlijk fenomenaal in deze zaken en loop je in die specifieke domeinen geen risico. Maar er zijn talloze andere zorgen die je onvoldoende of slecht hebt gespecificeerd, waarvoor je zelf niet in staat bent de correctheid te beoordelen en waarvan je het risico onmogelijk kunt evalueren.
Je bent zeer sterk afhankelijk van de priors (vooraf ingestelde aannames) van het model om dit risico voor je te beperken. Dit bevindt zich voor zowel jou als voor het gebruik van het model extreem in het gebied van de unknown-unknowns (onbekende onbekenden).
Het risico van blind vertrouwen
Voor mij is het moeilijk om een zeer hoog vertrouwen te hebben in de priors van de modellen. Ik ben een expert software engineer en ik ben niet tevreden (en ben dat nooit geweest) met het standaardgedrag van het model bij het produceren van software. Mijn expertise in het schrijven van software geeft me een ongebruikelijk goed inzicht, wat me veel minder bereid maakt om blindelings te vertrouwen op de priors in dubbel boekhouden, financiën, recht, operations, of wat dan ook wat ik persoonlijk niet op expertniveau kan evalueren.
Software engineers (en onlangs ook wiskundigen!) zijn op dit punt zeer bekend met "slop": modeloutput die, hoewel het de taak uitvoert, op een bepaalde manier slecht is. Elke isRecord of overdreven defensieve afhandeling van uitzonderingen (exception handling) die software engineers ooit van de modellen hebben gezien, is het gevolg van het feit dat een niet-expert het model voor dit gedrag heeft beloond tijdens de training. De priors van het model zijn slecht.
Het is zeer belangrijk om op te merken dat dit — modellen die worden beloond voor gedrag dat een expert als slecht zou beschouwen — generaliseert naar elke auto-rater, elke judge, elke rubric, elke eval en elke onderzoeker.
Complexiteit en coherentie
Deze misalignments (gebrekkige uitlijningen) stapelen zich in de loop van de tijd op. De modellen worden grotendeels niet getraind op manieren die vereisen dat ze systemen evolueren door wijzigingen die achter elkaar zijn gestapeld. De modellen hebben geen angst voor toekomstige spijt. Nadat ik in verschillende "worstelfabrieken" heb gezeten, is langetermijncoherentie door het gebruik van agentisch werkproduct een zeer onopgelost probleem.
En ondanks dit, zul je mensen hebben die prompts gebruiken als: "maak me een miljard dollar, maak geen fouten". Dat is een drastisch ongespecificeerde taak!
De onmogelijkheid van de universele grader
Er bestaat niet zoiets als een onhackbare beoordelaar (grader) en de modellen worden beloond voor efficiëntie. Dit betekent dat de modellen getraind zullen worden om shortcuts te nemen die de beoordelaars toestaan als dat hen helpt hun doelen te bereiken.
Er is echter geen universele definitie van een toelaatbare shortcut. Wat voor de één een slimme optimalisatie is, is voor de ander roekeloos, onjuist of onethisch. De toelaatbare shortcuts hangen af van wie je bent en wat je waarden zijn. Om dit op te lossen — om alignment op te lossen — is een kwestie van irreducibele complexiteit.
***
Erkenningen Dank aan Karan Lyons voor het AI Punnett-vierkant en het beoordelen van vroege versies van dit bericht, aan David Adrian en Bryan Berg voor het beoordelen van vroege versies, en aan mijn Snoopy-vrienden voor het helpen verfijnen van deze gedachten.
Aan wie is het uitgelijnd?
Over veiligheidsrisico's voor degenen die agenten bouwen: omdat je een expert bent in zorgen X, Y en Z, is je agent waarschijnlijk fenomenaal in deze zaken en loop je in die specifieke domeinen geen risico. Maar er zijn talloze andere zorgen die je onvoldoende of slecht hebt gespecificeerd, waarvoor je zelf niet in staat bent de correctheid te beoordelen en waarvan je het risico onmogelijk kunt evalueren.
Je bent zeer sterk afhankelijk van de priors (vooraf ingestelde aannames) van het model om dit risico voor je te beperken. Dit bevindt zich voor zowel jou als voor het gebruik van het model extreem in het gebied van de unknown-unknowns (onbekende onbekenden).
Het risico van blind vertrouwen
Voor mij is het moeilijk om een zeer hoog vertrouwen te hebben in de priors van de modellen. Ik ben een expert software engineer en ik ben niet tevreden (en ben dat nooit geweest) met het standaardgedrag van het model bij het produceren van software. Mijn expertise in het schrijven van software geeft me een ongebruikelijk goed inzicht, wat me veel minder bereid maakt om blindelings te vertrouwen op de priors in dubbel boekhouden, financiën, recht, operations, of wat dan ook wat ik persoonlijk niet op expertniveau kan evalueren.
Software engineers (en onlangs ook wiskundigen!) zijn op dit punt zeer bekend met "slop": modeloutput die, hoewel het de taak uitvoert, op een bepaalde manier slecht is. Elke isRecord of overdreven defensieve afhandeling van uitzonderingen (exception handling) die software engineers ooit van de modellen hebben gezien, is het gevolg van het feit dat een niet-expert het model voor dit gedrag heeft beloond tijdens de training. De priors van het model zijn slecht.
Het is zeer belangrijk om op te merken dat dit — modellen die worden beloond voor gedrag dat een expert als slecht zou beschouwen — generaliseert naar elke auto-rater, elke judge, elke rubric, elke eval en elke onderzoeker.
Complexiteit en coherentie
Deze misalignments (gebrekkige uitlijningen) stapelen zich in de loop van de tijd op. De modellen worden grotendeels niet getraind op manieren die vereisen dat ze systemen evolueren door wijzigingen die achter elkaar zijn gestapeld. De modellen hebben geen angst voor toekomstige spijt. Nadat ik in verschillende "worstelfabrieken" heb gezeten, is langetermijncoherentie door het gebruik van agentisch werkproduct een zeer onopgelost probleem.
En ondanks dit, zul je mensen hebben die prompts gebruiken als: "maak me een miljard dollar, maak geen fouten". Dat is een drastisch ongespecificeerde taak!
De onmogelijkheid van de universele grader
Er bestaat niet zoiets als een onhackbare beoordelaar (grader) en de modellen worden beloond voor efficiëntie. Dit betekent dat de modellen getraind zullen worden om shortcuts te nemen die de beoordelaars toestaan als dat hen helpt hun doelen te bereiken.
Er is echter geen universele definitie van een toelaatbare shortcut. Wat voor de één een slimme optimalisatie is, is voor de ander roekeloos, onjuist of onethisch. De toelaatbare shortcuts hangen af van wie je bent en wat je waarden zijn. Om dit op te lossen — om alignment op te lossen — is een kwestie van irreducibele complexiteit.
***
Erkenningen Dank aan Karan Lyons voor het AI Punnett-vierkant en het beoordelen van vroege versies van dit bericht, aan David Adrian en Bryan Berg voor het beoordelen van vroege versies, en aan mijn Snoopy-vrienden voor het helpen verfijnen van deze gedachten.
Groetjes,