Het artikel opent met een persoonlijke bekentenis over een studentengrap waarbij de auteur valselijk een computervirus meldde, wat leidde tot massale paniek. Deze ervaring dient als metafoor voor de manier waarop angst zich verspreidt en hoe moeilijk het is om deze weg te nemen zodra deze geworteld is.
De auteur trekt een parallel met huidige beweringen van AI-experts, zoals Jacob Coxon en Evan Hubinger, die stellen dat er een aanzienlijke kans (meer dan 10%) is dat AI tot het uitsterven van de mensheid zal leiden. De auteur bekritiseert deze claims als vage extrapolaties die geen rekening houden met de fysieke realiteit van engineering. Hij stelt dat digitale intelligentie niet hetzelfde is als fysieke handelingsbekwaamheid (agency), en dat AI-systemen nog steeds afhankelijk zijn van menselijke infrastructuur en controle.
De conclusie is dat buitengewone claims buitengewoon bewijs vereisen. De auteur benadrukt dat domeinexperts een grote verantwoordelijkheid hebben en hun positie niet mogen misbruiken om ongefundeerde angst te zaaien bij het publiek.
De besmetting van angst
Laat op een avond in mijn eerste jaar aan de universiteit, nadat ik had ontdekt dat informatica mijn roeping was, bevond ik me achterin het grote informaticalaboratorium in gesprek met enkele medestudenten uit het eerste jaar. We bespotten op spottende toon het gebrek aan technologisch inzicht bij de algemene bevolking, met het soort arrogantie en hoogmoed dat alleen jeugd en vroegrijpheid kunnen oproepen. ergens in dit gesprek werd een verschrikkelijk idee geboren: wat als we naar het naastgelegen algemene computerlab zouden gaan en de studenten geesteswetenschappen daar zouden vertellen dat er een computervirus door hun machines verspreidde? Zouden ze het geloven?
Tot mijn eeuwige spijt gaven we toe aan deze lelijke impuls: we gingen naar het naastgelegen lab, dat vol zat met studenten die aan hun scripties werkten, en kondigden — met kunstmatige paniek in onze stem — luidkeels aan dat er een virus uit het informaticalab was ontsnapt en dat ze allemaal hun diskettes moesten uitwerpen om de verspreiding te voorkomen.
Wat daarna gebeurde was totale chaos — het technologische equivalent van "brand!" roepen in een volle bioscoop. Mensen raakten in paniek: ze wierpen niet alleen diskettes uit, maar schakelden machines volledig uit, trokken kabels uit reeds uitgeschakelde machines, schreeuwden en renden de kamer uit. We beseften onmiddellijk dat we iets verschrikkelijks hadden gedaan, maar merkten dat we de wildbrand die we hadden aangestoken niet meer konden beheersen. We probeerden uit te leggen dat het "een grap" was; sommigen reageerden (terecht!) met verontwaardigde woede (wat was er mis met ons dat we zoiets zouden doen?!), terwijl anderen ons simpelweg niet geloofden: zodra de angst wortel had geschoten, konden we deze niet meer uitroeien.
De nasleep is een waas — maar het was erg. Het was de week voor de eindexamens, en mensen die hun computers hadden uitgeschakeld, waren hun werk kwijtgeraakt. Ze waren woedend en wij zaten diep in de problemen.
De volgende ochtend bevonden we ons in het kantoor van de facility director (een berucht imponerende verschijning), die ons streng terechtwees terwijl we naar onze voeten staarden. Hij dwong ons elk een excusesbrief te schrijven (wat eenvoudig ging, aangezien mijn schaamte oprecht was) en we moesten hem twee kopieën geven: één om te sturen naar degenen die we onrecht hadden aangedaan, en één om in zijn lade te bewaren. Hij vertelde ons in onomwonden woorden dat als we ons ooit weer in de buurt van zoiets zouden bevinden, we een andere universiteit zouden moeten zoeken — en we verzekerden hem dat we onze les hadden geleerd. (Toen ik vier jaar later afstudeerde, maakte hij er een punt van om de brief aan mij terug te geven — en ik blijf dankbaar voor de ernst en empathie waarmee hij de hele zaak heeft afgehandeld.)
Ik had dit hele schaamtevolle incident met me mee kunnen nemen in het graf (en misschien ook gedaan?), maar ik voel me nu gedwongen het te bekennen, omdat ik angst nog nooit zo onverantwoordelijk heb zien zaaien door vermeende technologen als nu met betrekking tot AI en de dreiging van het uitsterven van de mensheid (!). Verbazingwekkend genoeg is dat geen hyperbool: deze week beweerde oud-Anthropic medewerker Jacob Coxon — en Anthropic Alignment Science lead Evan Hubinger stemde ermee in — dat de waarschijnlijkheid dat AI "alle mensen zal doden" ">10% is in het volgende decennium" (!!).
Dat wil zeggen dat de bewering niet enkel is dat AI duizenden, miljoenen of zelfs miljarden mensen zou kunnen doden (beweringen die op zichzelf al buitengewoon zouden zijn!), maar dat er een kans van meer dan tien procent is dat AI álle mensen zal doden. Met andere woorden: als je een pasgeboren baby hebt, is hun bewering dat er een kans van meer dan tien procent is dat je kind op de een of andere manier omkomt door de handen van AI voordat het de middelbare school bereikt.
Deze macabere beweringen vallen brutaal in het hart van onze menselijkheid, en gezien het overduidelijke belang van AI is het niet verrassend dat ze de mainstream hebben bereikt, waarbij mensen de natuurlijke vraag stellen: hoe zou dat gebeuren?
De antwoorden steunen altijd op vage extrapolaties naar de toekomst; Jacob Coxon noemt bijvoorbeeld "het hacken van kritieke infrastructuur" en "biowapens op uitstervingsniveau" zonder verdere uitwerking. Maar Coxon is geen expert in kritieke infrastructuur, noch in biowapens — en zelfs al helemaal niet in uitsterven.
Waar de 27-jarige Coxon wel expert in is — zij het per ongeluk — is de besmetting van angst. We kunnen niet verwachten dat het publiek de innerlijke werking van alle technologie begrijpt (dat was de denkfout van mijn 18-jarige zelf!): technologie is te breed, te diep en te kernachtig voor al onze levens om te verwachten dat iedereen alles begrijpt; we moeten — op een zeker niveau — vertrouwen op domeinexperts. Wanneer die domeinexperts angst zaaien, is het de angst die wortel schiet en zich veel gemakkelijker verspreidt dan enig bewijs dat daarop zou kunnen volgen. (Zoals Jonathan Swift drie eeuwen geleden beroemd opmerkte: "Falsehood flies, and the truth comes limping after it" — Onwaarheid vliegt, en de waarheid komt hinkend achteraan.)
In dit opzicht is Coxon meer een vector dan een indexgeval: het is onbetwistbaar dat de angsten voor uitstervingsrisico's wijdverspreid zijn en Coxon zelf heeft deze angsten waarschijnlijk omdat hij ze van iemand anders heeft gehoord. Helaas, naarmate de angst grip krijgt, wordt het pure aantal bangemakers een eigen soort bewijs, waarbij tegengestelde stemmen worden overstemd door het kabaal van een schijnbare consensus.
Met de volledige wetenschap dat de angst goed gevestigd raakt, wil ik toch een weerlegging bieden, al is het vanuit mijn eigen (beperkte) domein van expertise: het bouwen van computers. Zoals ik reflecteerde in mijn Monktoberfest-praatje uit 2023, Intelligence is not Enough, zijn handelingen van engineering niet enkel handelingen van intelligentie. Ze vereisen niet alleen de menselijke aspecten van ons karakter, ze vereisen ook onze actie in (en redenering over) de fysieke wereld. Degenen die standvastig zijn in hun angst, neigen deze details te negeren ("robots zullen dit doen!"), maar daarmee negeren ze de fysieke realiteit dat robots dit vandaag de dag niet kunnen — en dat zij dit niet lijken te doen binnen een tijdshorizon die consistent is met deze uitstervingsangsten.
Algemener gezegd: in die mate dat digitale systemen agency (handelingsbekwaamheid) hebben in de fysieke wereld, is dit agency dat wij — wij mensen met armen en benen en hersenen en ouders en kinderen — toestaan: AI voert acties uit op fysieke systemen die zijn ontworpen met menselijke verantwoordelijkheid en controle. Intelligentie ontslaat een systeem niet van de realiteiten van de fysieke wereld!
Voor hen die — zoals Coxon — gegrepen worden door onwankelbare angst, zal dit weinig troost bieden. Maar voor hen die deze angsten voor het eerst horen: weet dat uw ongeloof gerechtvaardigd is. We zouden de wijsheid van de overleden Carl Sagan moeten volgen dat buitengewone claims buitengewoon bewijs vereisen: de claims van Coxon en zijn gelijken zijn de meest buitengewone die een technoloog kan doen, en we moeten bewijs eisen dat in verhouding staat tot de claims.
Dat gezegd hebbende, moeten we niet verwachten dat het publiek LLM's, kritieke infrastructuur, biowapens, uitstervingsbiologie, enz. begrijpt — die last moet liggen bij degenen die de claim maken. De les die ik decennia geleden (op schaamtevolle wijze) heb geleerd, is dat domeinexperts, door virtue van hun expertise, impliciet het vertrouwen van het publiek hebben — en we mogen dat niet misbruiken. Het is onze plicht om behoedzaam te zijn in onze claims — en maximaal behoedzaam wanneer we aan de bel trekken.
Dus, aan hen in dat lab laat op de avond, meer dan drie decennia geleden: het spijt me. Jullie hadden toen niets om bang voor te zijn — en (althans met betrekking tot het uitstervingsrisico!) hebben jullie nu ook niets om bang voor te zijn.
De besmetting van angst
Laat op een avond in mijn eerste jaar aan de universiteit, nadat ik had ontdekt dat informatica mijn roeping was, bevond ik me achterin het grote informaticalaboratorium in gesprek met enkele medestudenten uit het eerste jaar. We bespotten op spottende toon het gebrek aan technologisch inzicht bij de algemene bevolking, met het soort arrogantie en hoogmoed dat alleen jeugd en vroegrijpheid kunnen oproepen. ergens in dit gesprek werd een verschrikkelijk idee geboren: wat als we naar het naastgelegen algemene computerlab zouden gaan en de studenten geesteswetenschappen daar zouden vertellen dat er een computervirus door hun machines verspreidde? Zouden ze het geloven?
Tot mijn eeuwige spijt gaven we toe aan deze lelijke impuls: we gingen naar het naastgelegen lab, dat vol zat met studenten die aan hun scripties werkten, en kondigden — met kunstmatige paniek in onze stem — luidkeels aan dat er een virus uit het informaticalab was ontsnapt en dat ze allemaal hun diskettes moesten uitwerpen om de verspreiding te voorkomen.
Wat daarna gebeurde was totale chaos — het technologische equivalent van "brand!" roepen in een volle bioscoop. Mensen raakten in paniek: ze wierpen niet alleen diskettes uit, maar schakelden machines volledig uit, trokken kabels uit reeds uitgeschakelde machines, schreeuwden en renden de kamer uit. We beseften onmiddellijk dat we iets verschrikkelijks hadden gedaan, maar merkten dat we de wildbrand die we hadden aangestoken niet meer konden beheersen. We probeerden uit te leggen dat het "een grap" was; sommigen reageerden (terecht!) met verontwaardigde woede (wat was er mis met ons dat we zoiets zouden doen?!), terwijl anderen ons simpelweg niet geloofden: zodra de angst wortel had geschoten, konden we deze niet meer uitroeien.
De nasleep is een waas — maar het was erg. Het was de week voor de eindexamens, en mensen die hun computers hadden uitgeschakeld, waren hun werk kwijtgeraakt. Ze waren woedend en wij zaten diep in de problemen.
De volgende ochtend bevonden we ons in het kantoor van de facility director (een berucht imponerende verschijning), die ons streng terechtwees terwijl we naar onze voeten staarden. Hij dwong ons elk een excusesbrief te schrijven (wat eenvoudig ging, aangezien mijn schaamte oprecht was) en we moesten hem twee kopieën geven: één om te sturen naar degenen die we onrecht hadden aangedaan, en één om in zijn lade te bewaren. Hij vertelde ons in onomwonden woorden dat als we ons ooit weer in de buurt van zoiets zouden bevinden, we een andere universiteit zouden moeten zoeken — en we verzekerden hem dat we onze les hadden geleerd. (Toen ik vier jaar later afstudeerde, maakte hij er een punt van om de brief aan mij terug te geven — en ik blijf dankbaar voor de ernst en empathie waarmee hij de hele zaak heeft afgehandeld.)
Ik had dit hele schaamtevolle incident met me mee kunnen nemen in het graf (en misschien ook gedaan?), maar ik voel me nu gedwongen het te bekennen, omdat ik angst nog nooit zo onverantwoordelijk heb zien zaaien door vermeende technologen als nu met betrekking tot AI en de dreiging van het uitsterven van de mensheid (!). Verbazingwekkend genoeg is dat geen hyperbool: deze week beweerde oud-Anthropic medewerker Jacob Coxon — en Anthropic Alignment Science lead Evan Hubinger stemde ermee in — dat de waarschijnlijkheid dat AI "alle mensen zal doden" ">10% is in het volgende decennium" (!!).
Dat wil zeggen dat de bewering niet enkel is dat AI duizenden, miljoenen of zelfs miljarden mensen zou kunnen doden (beweringen die op zichzelf al buitengewoon zouden zijn!), maar dat er een kans van meer dan tien procent is dat AI álle mensen zal doden. Met andere woorden: als je een pasgeboren baby hebt, is hun bewering dat er een kans van meer dan tien procent is dat je kind op de een of andere manier omkomt door de handen van AI voordat het de middelbare school bereikt.
Deze macabere beweringen vallen brutaal in het hart van onze menselijkheid, en gezien het overduidelijke belang van AI is het niet verrassend dat ze de mainstream hebben bereikt, waarbij mensen de natuurlijke vraag stellen: hoe zou dat gebeuren?
De antwoorden steunen altijd op vage extrapolaties naar de toekomst; Jacob Coxon noemt bijvoorbeeld "het hacken van kritieke infrastructuur" en "biowapens op uitstervingsniveau" zonder verdere uitwerking. Maar Coxon is geen expert in kritieke infrastructuur, noch in biowapens — en zelfs al helemaal niet in uitsterven.
Waar de 27-jarige Coxon wel expert in is — zij het per ongeluk — is de besmetting van angst. We kunnen niet verwachten dat het publiek de innerlijke werking van alle technologie begrijpt (dat was de denkfout van mijn 18-jarige zelf!): technologie is te breed, te diep en te kernachtig voor al onze levens om te verwachten dat iedereen alles begrijpt; we moeten — op een zeker niveau — vertrouwen op domeinexperts. Wanneer die domeinexperts angst zaaien, is het de angst die wortel schiet en zich veel gemakkelijker verspreidt dan enig bewijs dat daarop zou kunnen volgen. (Zoals Jonathan Swift drie eeuwen geleden beroemd opmerkte: "Falsehood flies, and the truth comes limping after it" — Onwaarheid vliegt, en de waarheid komt hinkend achteraan.)
In dit opzicht is Coxon meer een vector dan een indexgeval: het is onbetwistbaar dat de angsten voor uitstervingsrisico's wijdverspreid zijn en Coxon zelf heeft deze angsten waarschijnlijk omdat hij ze van iemand anders heeft gehoord. Helaas, naarmate de angst grip krijgt, wordt het pure aantal bangemakers een eigen soort bewijs, waarbij tegengestelde stemmen worden overstemd door het kabaal van een schijnbare consensus.
Met de volledige wetenschap dat de angst goed gevestigd raakt, wil ik toch een weerlegging bieden, al is het vanuit mijn eigen (beperkte) domein van expertise: het bouwen van computers. Zoals ik reflecteerde in mijn Monktoberfest-praatje uit 2023, Intelligence is not Enough, zijn handelingen van engineering niet enkel handelingen van intelligentie. Ze vereisen niet alleen de menselijke aspecten van ons karakter, ze vereisen ook onze actie in (en redenering over) de fysieke wereld. Degenen die standvastig zijn in hun angst, neigen deze details te negeren ("robots zullen dit doen!"), maar daarmee negeren ze de fysieke realiteit dat robots dit vandaag de dag niet kunnen — en dat zij dit niet lijken te doen binnen een tijdshorizon die consistent is met deze uitstervingsangsten.
Algemener gezegd: in die mate dat digitale systemen agency (handelingsbekwaamheid) hebben in de fysieke wereld, is dit agency dat wij — wij mensen met armen en benen en hersenen en ouders en kinderen — toestaan: AI voert acties uit op fysieke systemen die zijn ontworpen met menselijke verantwoordelijkheid en controle. Intelligentie ontslaat een systeem niet van de realiteiten van de fysieke wereld!
Voor hen die — zoals Coxon — gegrepen worden door onwankelbare angst, zal dit weinig troost bieden. Maar voor hen die deze angsten voor het eerst horen: weet dat uw ongeloof gerechtvaardigd is. We zouden de wijsheid van de overleden Carl Sagan moeten volgen dat buitengewone claims buitengewoon bewijs vereisen: de claims van Coxon en zijn gelijken zijn de meest buitengewone die een technoloog kan doen, en we moeten bewijs eisen dat in verhouding staat tot de claims.
Dat gezegd hebbende, moeten we niet verwachten dat het publiek LLM's, kritieke infrastructuur, biowapens, uitstervingsbiologie, enz. begrijpt — die last moet liggen bij degenen die de claim maken. De les die ik decennia geleden (op schaamtevolle wijze) heb geleerd, is dat domeinexperts, door virtue van hun expertise, impliciet het vertrouwen van het publiek hebben — en we mogen dat niet misbruiken. Het is onze plicht om behoedzaam te zijn in onze claims — en maximaal behoedzaam wanneer we aan de bel trekken.
Dus, aan hen in dat lab laat op de avond, meer dan drie decennia geleden: het spijt me. Jullie hadden toen niets om bang voor te zijn — en (althans met betrekking tot het uitstervingsrisico!) hebben jullie nu ook niets om bang voor te zijn.
Groetjes,