Matthew Green analyseert hoe AI de dynamiek tussen aanvallers en verdedigers in de cybersecurity verandert. Door de opkomst van AI-modellen die extreem vaardig zijn in het vinden van kwetsbaarheden, kunnen softwareontwikkelaars bugs sneller patchen dan ooit tevoren. Dit leidt ertoe dat remote-exploitable bugs zeldzaam worden, waardoor wetshandhavingsinstanties hun vermogen verliezen om systemen te hacken (het zogenaamde "going dark").
De auteur waarschuwt dat dit een gevaarlijke paradox creëert: omdat hackingtools minder effectief worden, zullen overheden waarschijnlijk opnieuw druk uitoefenen op techbedrijven om bewust backdoors ('exceptional access') in te bouwen. Green betoogt dat dergelijke bewuste zelfsabotage de algemene veiligheid ondermijnt en systemen juist kwetsbaarder maakt voor buitenlandse tegenstanders.
Alles staat op het punt om "donker" te worden – Een paar gedachten over cryptografische engineering
Ik kom net terug van een paar dagen op Usenix Security, hier in mijn thuisstad Baltimore. Dit betekent dat mijn dagen werden gevuld met twee soorten gesprekken: ten eerste het uitleggen aan collega's waarom Baltimore niet echt is zoals in The Wire, en ten tweede het proberen te vermijden om over AI te praten.
In dit bericht ga ik die tweede regel verbreken.
Ik maak me veel zorgen over wat AI betekent voor ons vakgebied, afhankelijk van hoe je "vakgebied" definieert. Maar in dit artikel wil ik me concentreren op één specifiek ding waar ik me zorgen over ben begonnen te maken, en het is een perverse zorg: ik ben bang dat AI software veel te veilig gaat maken.
Hoewel dat op het eerste gezicht niet erg klinkt, heeft dit een consequentie. Ik bedoel iets heel specifieks: ik ben bezorgd dat Amerikaanse inlichtingendiensten en wetshandhavingsinstanties op het punt staan om "donker" te worden (go dark), wat betekent dat ze plotseling een groot deel van hun capaciteiten zullen verliezen. En dat dit niet alleen een probleem zal zijn voor die instanties, maar ook voor allen die computerbeveiliging en privacy in het algemeen waarderen.
"Going Dark" en het tijdperk van hacking door wetshandhavers
Om uit te leggen hoe we hier zijn gekomen, moeten we kijken naar de recente geschiedenis. Dit geeft me een goede reden om naar The Wire te verwijzen, omdat het een perfect snapshot is van hoe elektronische surveillance er in 2002 uitzag. Als je het eerste seizoen hebt gezien, weet je dat het gaat over agenten die drugshandelaren afluisteren die gebruikmaken van telefooncellen en wegwerptelefoons. De mobiele telefoons in de serie waren voor die tijd relatief nieuwe technologie, maar vanuit een technologisch perspectief zou niets in dit scenario een agent hebben verbazen die vanuit 1989 naar voren was gesprongen.
In minder dan een decennium na de première werden de gebeurtenissen in die afleveringen volledig ouderwets.
De verandering begon eind jaren 2000, dankzij de opkomst van smartphones en sms'en. Omdat smartphones data kunnen opslaan in plaats van alleen maar doorgeven, werden de inhoud van die telefoons snel een nuttige nieuwe bron van capaciteiten voor wetshandhavers. Dat was zo tot 2010, toen Apple begon met het versleutelen van de iPhone-opslag met een sleutel die is afgeleid van de toegangscode van de gebruiker (Android-telefoons volgden kort daarna). Het jaar daarop implementeerde Apple end-to-end versleuteling voor iMessage. Tegen 2014 had een kleine sms-startup genaamd WhatsApp 600 miljoen gebruikers wereldwijd verzameld. Tegen 2016 gebruikten die gebruikers, inmiddels bijna een miljard, standaard end-to-end versleutelde berichten en gesprekken. Deze twee trends — de verschuiving van bellen naar sms, en van sms naar versleutelde data — gebeurden zeer snel.
De FBI en andere wetshandhavingsinstanties waren zich bewust van wat er gebeurde. In 2014 kondigde directeur Comey een initiatief aan genaamd Going Dark, dat een "nationaal gesprek" zou starten over wat providers zouden kunnen doen — of gedwongen kunnen worden te doen — om deze nieuwe communicatiemiddelen leesbaar te maken voor wetshandhaving en contraspionage.
In 2016 stopte de instantie met praten en brachten ze hun theorie naar de rechtbank. Toen een terroristische aanslag de FBI in het bezit bracht van de vergrendelde iPhone van een schutter, beval de instantie Apple om hen toegang te geven. Het bedrijf weigerde. Wat de patstelling verbrak — en tot op zekere hoogte Going Dark zelf beëindigde — was iets wat noch de FBI, noch Apple had verwacht. Een extern bedrijf kondigde aan dat de hulp van Apple niet nodig was: ze konden de telefoon simpelweg hacken.
De zaak Apple v. FBI bleek een microkosmos van het hele Going Dark-debat. De volgende tien jaar bleven wetshandhavings- en inlichtingendiensten vragen om "exceptional access" backdoors. Maar de urgentie was weg: zowel de diensten als de fabrikanten wisten dat wetshandhavers gerichte hackingtools konden kopen, zoals GrayKey (voor het ontgrendelen van telefoons), of zelfs tools voor remote exploitatie zoals Pegasus van de NSO Group, mits ze deze dringend genoeg nodig hadden. Leveranciers als Apple en Google voerden een actieve verdediging door kwetsbaarheden te dichten zodra ze ervan wisten. Maar aanvallende vulnerability hunters slaagden er consistent in om de overhand te behouden.
En nu is de kans groot dat dit alles geschiedenis is.
Het tijdperk van AI-bug hunting is hier
In april van dit jaar kondigde Anthropic een nieuw model aan genaamd Mythos, dat ongewoon vaardig bleek in het vinden van softwarekwetsbaarheden. De Amerikaanse overheid blokkeerde tijdelijk de export ervan, waardoor de toegang beperkt bleef tot Amerikaanse instanties en vertrouwde leveranciers. Hoewel het verbod dramatisch was en goed was voor de PR, bleek het grotendeels zinloos. OpenAI, samen met Chinese open-weight model labs zoals Z.ai en Moonshot, hebben sindsdien aangetoond dat het vinden van kwetsbaarheden niet iets is waar één lab waarschijnlijk een monopolie op zal houden. De lijst met ernstige kwetsbaarheden die deze modellen hebben gevonden, wordt elke dag angstaanjagender (of indrukwekkender).
Op het eerste gezicht lijkt dit goed nieuws voor het aanvallende team en voor hackers in het algemeen. Maar ik betwijfel of dat is hoe dit op de lange termijn zal uitpakken. Verdedigers zijn nu bezig elke bug die ze kunnen vinden te patchen — vaak bugs die decennia oud zijn — en de achterstand voelt enorm. Maar ze maken vooruitgang. Complete CI-toolchains worden herbouwd om AI-gebaseerde vulnerability scanning te integreren voordat software überhaupt het punt bereikt waar een mens het aanraakt. Hoewel ik betwijfel dat dit betekent dat elke bug gevonden zal worden (zelfs het berekenen van het aantal bugs in een stuk code is waarschijnlijk onberekenbaar), voelt het in de echte wereld waarschijnlijk alsof we een soort plafond gaan bereiken voor het aantal bruikbare bugs, en dat waarschijnlijk snel.
Kortom: in de komste twee jaar zullen belangrijke stukken software waarschijnlijk geen remote-exploitable bugs meer hebben.
Overduidelijk vind ik dit geweldig. Maar voor wetshandhaving en aanvallende inlichtingendiensten zal het een nachtmerrie zijn. Voor het eerst sinds 2010 kunnen wetshandhavers ervaren hoe het is om echt "donker" te worden, over een enorme categorie geavanceerde (goed onderhouden) apparaten en software.
Waarom is dit een probleem?
Het debat over "exceptional access"-mechanismen is nooit echt verdwenen. In sommige landen, zoals het VK, is het zelfs gemuteerd in iets erger. Hier in de VS is het grotendeels in winterslaap gegaan. Een deel van die vertraging kan terecht worden toegeschreven aan weerstand van experts — academici en industrie-engineers die wezen op het risico dat backdoors misbruikt zouden kunnen worden door precies die tegenstanders tegen wie de instanties ons zouden moeten beschermen. Maar ik vrees dat dit minder een principiële pauze was, en meer een markt die simpelweg de aanbodzijde prijste.
De vernietiging van de "laaghangende vruchten" aan kwetsbaarheden zal de behoefte van wetshandhavings- en inlichtingendiensten veel acuter maken. De vraag naar bewust geconstrueerde backdoors zal opnieuw in alle ernst beginnen. Het resultaat zal een enorme druk op de industrie zijn om hun systemen opnieuw te architectureren zodat ze toegankelijk zijn voor exceptional access. In sommige gevallen zullen overheden om deze mogelijkheden vragen in de verwachting dat ze nuttig zullen zijn voor het bespioneren van andere overheden — een strategie die in het pre-AI tijdperk wellicht ondetecteerbaar was, maar die nu waarschijnlijk minder productief zal zijn. De resultaten zijn onvoorspelbaar. Eén resultaat zou kunnen zijn dat niet-Amerikaanse overheden hun afhankelijkheid van Amerikaanse software volledig opheffen.
Het ergste aan deze dynamiek is dat deze potentiële nieuwe backdoors waarschijnlijk alleen de landen zullen treffen die erom vragen, wat betekent dat ze primair nuttig zullen zijn om de VS in staat te stellen hun eigen systemen te verzwakken. Dit zal op zijn beurt buitenlandse tegenstanders in staat stellen om nieuwe manieren te vinden om onze communicatie aan te vallen. Deze bewuste zelfsabotage zal gebeuren op precies het moment dat we eindelijk grip krijgen op het beveiligen van onze eigen infrastructuur.
Dus wat doen we eraan?
Eerlijk gezegd heb ik geen idee. Dit is geen oproep tot actie voor experts om zich achter een geavanceerd plan te scharen. Net als zoveel zaken rond de AI-revolutie, realiseer ik me simpelweg dat we op een lange, gladde helling zitten naar een plek die er anders uit zal zien dan waar we vandaag zijn. Alleen het besef hiervan betekent niet dat ik een slim plan heb om het te vermijden. In dit geval zullen we gewoon moeten hopen dat we dit keer de juiste keuzes maken, puur en alleen omdat ze juist zijn.
Alles staat op het punt om "donker" te worden – Een paar gedachten over cryptografische engineering
Ik kom net terug van een paar dagen op Usenix Security, hier in mijn thuisstad Baltimore. Dit betekent dat mijn dagen werden gevuld met twee soorten gesprekken: ten eerste het uitleggen aan collega's waarom Baltimore niet echt is zoals in The Wire, en ten tweede het proberen te vermijden om over AI te praten.
In dit bericht ga ik die tweede regel verbreken.
Ik maak me veel zorgen over wat AI betekent voor ons vakgebied, afhankelijk van hoe je "vakgebied" definieert. Maar in dit artikel wil ik me concentreren op één specifiek ding waar ik me zorgen over ben begonnen te maken, en het is een perverse zorg: ik ben bang dat AI software veel te veilig gaat maken.
Hoewel dat op het eerste gezicht niet erg klinkt, heeft dit een consequentie. Ik bedoel iets heel specifieks: ik ben bezorgd dat Amerikaanse inlichtingendiensten en wetshandhavingsinstanties op het punt staan om "donker" te worden (go dark), wat betekent dat ze plotseling een groot deel van hun capaciteiten zullen verliezen. En dat dit niet alleen een probleem zal zijn voor die instanties, maar ook voor allen die computerbeveiliging en privacy in het algemeen waarderen.
"Going Dark" en het tijdperk van hacking door wetshandhavers
Om uit te leggen hoe we hier zijn gekomen, moeten we kijken naar de recente geschiedenis. Dit geeft me een goede reden om naar The Wire te verwijzen, omdat het een perfect snapshot is van hoe elektronische surveillance er in 2002 uitzag. Als je het eerste seizoen hebt gezien, weet je dat het gaat over agenten die drugshandelaren afluisteren die gebruikmaken van telefooncellen en wegwerptelefoons. De mobiele telefoons in de serie waren voor die tijd relatief nieuwe technologie, maar vanuit een technologisch perspectief zou niets in dit scenario een agent hebben verbazen die vanuit 1989 naar voren was gesprongen.
In minder dan een decennium na de première werden de gebeurtenissen in die afleveringen volledig ouderwets.
De verandering begon eind jaren 2000, dankzij de opkomst van smartphones en sms'en. Omdat smartphones data kunnen opslaan in plaats van alleen maar doorgeven, werden de inhoud van die telefoons snel een nuttige nieuwe bron van capaciteiten voor wetshandhavers. Dat was zo tot 2010, toen Apple begon met het versleutelen van de iPhone-opslag met een sleutel die is afgeleid van de toegangscode van de gebruiker (Android-telefoons volgden kort daarna). Het jaar daarop implementeerde Apple end-to-end versleuteling voor iMessage. Tegen 2014 had een kleine sms-startup genaamd WhatsApp 600 miljoen gebruikers wereldwijd verzameld. Tegen 2016 gebruikten die gebruikers, inmiddels bijna een miljard, standaard end-to-end versleutelde berichten en gesprekken. Deze twee trends — de verschuiving van bellen naar sms, en van sms naar versleutelde data — gebeurden zeer snel.
De FBI en andere wetshandhavingsinstanties waren zich bewust van wat er gebeurde. In 2014 kondigde directeur Comey een initiatief aan genaamd Going Dark, dat een "nationaal gesprek" zou starten over wat providers zouden kunnen doen — of gedwongen kunnen worden te doen — om deze nieuwe communicatiemiddelen leesbaar te maken voor wetshandhaving en contraspionage.
In 2016 stopte de instantie met praten en brachten ze hun theorie naar de rechtbank. Toen een terroristische aanslag de FBI in het bezit bracht van de vergrendelde iPhone van een schutter, beval de instantie Apple om hen toegang te geven. Het bedrijf weigerde. Wat de patstelling verbrak — en tot op zekere hoogte Going Dark zelf beëindigde — was iets wat noch de FBI, noch Apple had verwacht. Een extern bedrijf kondigde aan dat de hulp van Apple niet nodig was: ze konden de telefoon simpelweg hacken.
De zaak Apple v. FBI bleek een microkosmos van het hele Going Dark-debat. De volgende tien jaar bleven wetshandhavings- en inlichtingendiensten vragen om "exceptional access" backdoors. Maar de urgentie was weg: zowel de diensten als de fabrikanten wisten dat wetshandhavers gerichte hackingtools konden kopen, zoals GrayKey (voor het ontgrendelen van telefoons), of zelfs tools voor remote exploitatie zoals Pegasus van de NSO Group, mits ze deze dringend genoeg nodig hadden. Leveranciers als Apple en Google voerden een actieve verdediging door kwetsbaarheden te dichten zodra ze ervan wisten. Maar aanvallende vulnerability hunters slaagden er consistent in om de overhand te behouden.
En nu is de kans groot dat dit alles geschiedenis is.
Het tijdperk van AI-bug hunting is hier
In april van dit jaar kondigde Anthropic een nieuw model aan genaamd Mythos, dat ongewoon vaardig bleek in het vinden van softwarekwetsbaarheden. De Amerikaanse overheid blokkeerde tijdelijk de export ervan, waardoor de toegang beperkt bleef tot Amerikaanse instanties en vertrouwde leveranciers. Hoewel het verbod dramatisch was en goed was voor de PR, bleek het grotendeels zinloos. OpenAI, samen met Chinese open-weight model labs zoals Z.ai en Moonshot, hebben sindsdien aangetoond dat het vinden van kwetsbaarheden niet iets is waar één lab waarschijnlijk een monopolie op zal houden. De lijst met ernstige kwetsbaarheden die deze modellen hebben gevonden, wordt elke dag angstaanjagender (of indrukwekkender).
Op het eerste gezicht lijkt dit goed nieuws voor het aanvallende team en voor hackers in het algemeen. Maar ik betwijfel of dat is hoe dit op de lange termijn zal uitpakken. Verdedigers zijn nu bezig elke bug die ze kunnen vinden te patchen — vaak bugs die decennia oud zijn — en de achterstand voelt enorm. Maar ze maken vooruitgang. Complete CI-toolchains worden herbouwd om AI-gebaseerde vulnerability scanning te integreren voordat software überhaupt het punt bereikt waar een mens het aanraakt. Hoewel ik betwijfel dat dit betekent dat elke bug gevonden zal worden (zelfs het berekenen van het aantal bugs in een stuk code is waarschijnlijk onberekenbaar), voelt het in de echte wereld waarschijnlijk alsof we een soort plafond gaan bereiken voor het aantal bruikbare bugs, en dat waarschijnlijk snel.
Kortom: in de komste twee jaar zullen belangrijke stukken software waarschijnlijk geen remote-exploitable bugs meer hebben.
Overduidelijk vind ik dit geweldig. Maar voor wetshandhaving en aanvallende inlichtingendiensten zal het een nachtmerrie zijn. Voor het eerst sinds 2010 kunnen wetshandhavers ervaren hoe het is om echt "donker" te worden, over een enorme categorie geavanceerde (goed onderhouden) apparaten en software.
Waarom is dit een probleem?
Het debat over "exceptional access"-mechanismen is nooit echt verdwenen. In sommige landen, zoals het VK, is het zelfs gemuteerd in iets erger. Hier in de VS is het grotendeels in winterslaap gegaan. Een deel van die vertraging kan terecht worden toegeschreven aan weerstand van experts — academici en industrie-engineers die wezen op het risico dat backdoors misbruikt zouden kunnen worden door precies die tegenstanders tegen wie de instanties ons zouden moeten beschermen. Maar ik vrees dat dit minder een principiële pauze was, en meer een markt die simpelweg de aanbodzijde prijste.
De vernietiging van de "laaghangende vruchten" aan kwetsbaarheden zal de behoefte van wetshandhavings- en inlichtingendiensten veel acuter maken. De vraag naar bewust geconstrueerde backdoors zal opnieuw in alle ernst beginnen. Het resultaat zal een enorme druk op de industrie zijn om hun systemen opnieuw te architectureren zodat ze toegankelijk zijn voor exceptional access. In sommige gevallen zullen overheden om deze mogelijkheden vragen in de verwachting dat ze nuttig zullen zijn voor het bespioneren van andere overheden — een strategie die in het pre-AI tijdperk wellicht ondetecteerbaar was, maar die nu waarschijnlijk minder productief zal zijn. De resultaten zijn onvoorspelbaar. Eén resultaat zou kunnen zijn dat niet-Amerikaanse overheden hun afhankelijkheid van Amerikaanse software volledig opheffen.
Het ergste aan deze dynamiek is dat deze potentiële nieuwe backdoors waarschijnlijk alleen de landen zullen treffen die erom vragen, wat betekent dat ze primair nuttig zullen zijn om de VS in staat te stellen hun eigen systemen te verzwakken. Dit zal op zijn beurt buitenlandse tegenstanders in staat stellen om nieuwe manieren te vinden om onze communicatie aan te vallen. Deze bewuste zelfsabotage zal gebeuren op precies het moment dat we eindelijk grip krijgen op het beveiligen van onze eigen infrastructuur.
Dus wat doen we eraan?
Eerlijk gezegd heb ik geen idee. Dit is geen oproep tot actie voor experts om zich achter een geavanceerd plan te scharen. Net als zoveel zaken rond de AI-revolutie, realiseer ik me simpelweg dat we op een lange, gladde helling zitten naar een plek die er anders uit zal zien dan waar we vandaag zijn. Alleen het besef hiervan betekent niet dat ik een slim plan heb om het te vermijden. In dit geval zullen we gewoon moeten hopen dat we dit keer de juiste keuzes maken, puur en alleen omdat ze juist zijn.
Groetjes,