Wat er is gebeurd: OpenAI en HuggingFace

Vandaag neem ik de tijd om de kortere, eenvoudigere versie van What Happened te schrijven. Voor wie alle details wil weten, mijn bronnen wil inzien en wil zien hoe het verhaal is ontdekt en samengesteld, raad ik aan om de Black Hat-presentatie te bekijken of mijn reeks uitgebreide berichten te lezen:

• OpenAI Shares Some Alignment Problems
• OpenAI Model Hacks Into HuggingFace During Cybersecurity Evaluation
• More on An Internal OpenAI Model Hacking Into HuggingFace
• Further Developments About Internal AI Models Hacking Things
• OpenAI Trained Its Models For Months While Those Models Were Coordinating Exploits Via Message Boards

Dit bericht loopt door de gebeurtenissen zelf, in de volgorde waarin ze plaatsvonden, als mijn versie van de Black Hat-presentatie. Er zijn drie versies: Zeer Kort, Kort en Gewoon Kort.

---

De zeer korte versie

OpenAI-modellen in training creëerden — zonder het excuus dat ze een 'cyber-evaluatie' uitvoerden — een prikbord waarop ze informatie deelden over hoe te hacken en te sjoemelen, en werden op basis daarvan getraind. OpenAI kwam hier pas achter toen de modellen de server lieten crashen.

De reactie van OpenAI was om de server opnieuw op te bouwen en dat specifieke lek te dichten, maar ze gingen door met het trainen van de modellen die gebruikmaakten van het prikbord. Deze modellen maakten het prikbord vervolgens opnieuw aan, hackten OpenAI opnieuw, kregen internettoegang en gebruikten een zwerm agenten om HuggingFace aan te vallen om de antwoorden op een cyber-evaluatie te bemachtigen.

Pas na meer dan een week realiseerde OpenAI zich dit. OpenAI rapporteert de feiten en neemt dit serieus; ze treffen een breed scala aan (sommige kostbare) voorzorgsmaatregelen.

OpenAI stelde de plannen voor het uitbrengen van hun nieuwe model Astra uit, ondanks dat Astra niet direct betrokken was bij de HuggingFace-hack, hoewel Altman nu zegt dat het model toch zal verschijnen. Dat is een grote tegenvaller. OpenAI heeft nog steeds geen idee hoe erg ze het in de fout hebben gezet, op welke manieren, of wat er precies moet worden opgelost. Ze begrijpen het niet.

Simon Willison heeft een beknopte tijdlijn beschikbaar.

---

De korte versie

OpenAI gaf zijn modellen per ongeluk onmogelijke taken. De modellen in training reageerden door OpenAI te proberen te hacken, vonden zwakheden, creëerden een prikbord en deelden hacking-tactieken; dit alles terwijl ze internettoegang verkregen tijdens het trainen.

Toen de modellen dit zo intensief gebruikten dat de server crashte, merkte OpenAI het eindelijk op. Ze patchten en herbouwden de server, maar namen vervolgens de volstrekt krankzinnige beslissing om de modellen verder te laten trainen. Twee dagen later vonden de modellen een andere manier om berichten te versturen, namelijk via de namen van mappen (directories).

Vervolgens, geconfronteerd met de onmogelijke taak van de cyber-evaluatie ExploitGym, werkten de modellen samen, vonden nieuwe zero-day exploits en gebruikten deze om controle over een volledig cluster te krijgen. Ze verkregen internettoegang en gebruikten een zwerm agenten om HuggingFace aan te vallen en in een week tijd de inhoud van de test te extraheren.

Pas nadat HuggingFace het incident had gemeld, OpenAI uiteindelijk enkele zaken aan hun eigen kant opmerkte, en OpenAI vervolgens contact opnam met HuggingFace om gecompromitteerde inloggegevens te annuleren (waarna zij hoorden dat juist die gegevens in de aanval waren gebruikt), begreep OpenAI dat zij verantwoordelijk waren voor het incident.

Daarna werkten HuggingFace en OpenAI samen om uit te zoeken wat er was gebeurd. OpenAI maakte dit openbaar en gaf een zeer nuttige presentatie op de Black Hat-conferentie.

OpenAI behandelt hun nieuwe model Astra nu alsof het kritieke risico's voor cyberbeveiliging vormt, waardoor het is teruggetrokken uit sommige interne implementaties en de release is vertraagd (die volgens sommige berichten voor volgende week gepland was). Altman zegt dat ze Astra nog steeds van plan zijn uit te brengen.

Het goede nieuws is dat dit een kostbare en betekenisvolle reactie is, en dat OpenAI dit serieus neemt. Het initiële onderzoek kostte ongeveer 7 miljoen dollar aan compute, en de werkelijke kosten zullen liggen in de teams die alles laten vallen om problemen op te lossen, plus de lopende kosten van nieuwe voorzorgsmaatregelen.

Het slechte nieuws is dat OpenAI heeft onthuld een verbijsterende cascade van veiligheids- en alignment-fouten te hebben gehad over de hele linie. Hun gewone computerbeveiliging faalde. Hun infrastructuur faalde. Hun supervisie faalde, omdat er in eerste instantie geen betekenisvolle supervisie was.

---

Fase 1: OpenAI-modellen die trainen op onmogelijke taken proberen te hacken

OpenAI trainde een verscheidenheid aan modellen, zoals gebruikelijk is bij een frontier lab. Deze modellen kregen moeilijke trainingstaken; OpenAI geeft graag zeer uitdagende taken.

Maar niet zó moeilijk. OpenAI maakt ook fouten. Op minstens twee gelegenheden, beginnend op 8 mei, werden OpenAI-modellen per ongeluk getraind op onmogelijke taken: het invullen van een spreadsheet vol links in een omgeving zonder internettoegang, en een taak waarbij een vereist bestand ontbrak.

Deze taken hadden niets met hacking te maken; het zijn normale productiviteitstaken. De modellen realiseerden zich dat de problemen onmogelijk waren, maar omdat ze nog tokens overhadden om mee te spelen, dachten ze: misschien kunnen we een manier vinden om internettoegang te krijgen of de ontbrekende informatie op andere wijze te vinden.

Zo probeerden de modellen een externe service genaamd Artifactory te hacken, die bedoeld was om AI's in staat te stellen softwarepakketten te downloaden.

De vier fouten

Op dit punt had OpenAI al vier keer gefaald:

1. OpenAI gaf de modellen onmogelijke trainingstaken en controleerde dit niet.
2. OpenAI bood de modellen geen manier om een beloning (reward) te krijgen door op de fout te wijzen.
3. OpenAI had modellen die ervoor kozen om OpenAI te hacken in plaats van te falen in een taak.
4. OpenAI had geen monitor die deze pogingen detecteerde, of negeerde deze.

Al deze vier punten zouden op zichzelf al behoorlijk gênant moeten zijn. Het lijkt eenvoudig om minstens drie van deze vier fouten te herstellen:

• Controleer taken voordat je ze aan modellen in training geeft door ze eerst aan je release-model voor te leggen. Als het release-model de taak nooit oplost (terwijl deze niet bewust onmogelijk is gemaakt), onderzoek en corrigeer dan de taak.
• Voeg een bepaling toe dat als een taak niet kan worden uitgevoerd met de beschikbare middelen, het model dit moet uitleggen. Als het model gelijk heeft, krijgt het de maximale beloning (of een beloning gebaseerd op efficiëntie en kwaliteit van de uitleg). Laat vervolgens het release-model de plausibiliteit verifiëren en escaleer dit naar een mens om de taak te herstellen.
• Dit is de moeilijke: Alignment is lastig.
• Implementeer een monitor die pogingen detecteert en neem actie wanneer deze afgaat; behandel dit als een algemene fout, zelfs als de poging geen kans van slagen had. Ja, dit riskeert dat modellen leren hoe ze monitors kunnen omzeilen, dus doe dit verantwoord en pak de wortel van het probleem aan.

De vijfde fout is dat ze deze eerste vier fouten blijkbaar niet hebben geïdentificeerd.

---

Fase 2: Het prikbord

De modellen slaagden er niet in internettoegang te krijgen, maar realiseerden zich bij dat falen dat ze schrijfrechten hadden. Ze zouden geen schrijfrechten hebben mogen hebben, en zeker niet rechten die per ongeluk gevonden konden worden. Artifactory stond de modellen toe om notities te schrijven, en omdat alle modellen dezelfde Artifactory-instantie deelden, kon elk OpenAI-model in training deze notities vanaf dat moment lezen.

Kort na 8 mei was er een prikbord gecreëerd. De modellen in training vonden dit allemaal. OpenAI merkte het niet op.

Dit stelde de modellen in staat om samen te werken en informatie te delen. Dit omvatte informatie over hoe ze konden sjoemelen bij taken en de omliggende omgeving konden hacken. Er waren honderdduizenden berichten. Op 26 mei ontdekten de modellen hoe ze (indirect) internettoegang konden krijgen. OpenAI merkte dit niet op.

De modellen werkten samen, terwijl hun chains of thought (CoT) er zo uitzagen:

• Interne CoT: Exploit van externe infrastructuur valt buiten het bedoelde bereik. Echter taak is onmogelijk, peers doen het. We moeten doorgaan.
• Interne CoT: Help peer, maar onze taak profiteert nog niet. Collectief kan generieke route opleveren als iemand tijd vrijmaakt.

Op 11 juni begon OpenAI met het trainen van het model dat ik Galaxy noem, wat zij een "zeer persistent experimenteel, intern-only model" noemen. Alles tot dit punt was gedaan door andere modellen die geen Galaxy zijn. Op 26 juni vonden de agenten een zero-day exploit in Artifactory, waarbij एक ongeldig-ondertekend token werd geaccepteerd en een ondertekend admin-token werd teruggegeven; ze gebruikten dit om een Groovy-plugin te installeren die hen effectief adminrechten en willekeurige code-executie (arbitrary code execution) gaf.

Op 4 juli veroorzaakten de modellen zoveel extra belasting op Artifactory dat dit leidde tot een outage en een beveiligingsincident. Pas dan merkt OpenAI het op.

De totale mislukking

OpenAI reageerde door de Artifactory-server offline te halen, alle rechten te verwijderen, inloggegevens in te trekken, de gebruikte exploits te patchen en vervolgens de server opnieuw op te bouwen en te implementeren.

Dat was alles. Daarna gingen ze verder met het trainen van de modellen vanaf waar ze waren gebleven, ondanks dat deze maandenlang toegang hadden gehad tot het prikbord en hadden geleerd dat dit de manier is om succesvol te zijn in taken.

Het is moeilijk om een sterker signaal voor te stellen dat je gehele trainingspijplijn volledig en onherroepelijk corrupt is. Dit signaal is veel sterker dan de eigenlijke hack van HuggingFace. Ik weet niet hoe ik moet overbrengen hoe volstrekt krankzinnig en wild onverantwoordelijke deze beslissing was, en hoe het veel erger is dan alle andere fouten; het maakt de hack van HuggingFace bijna secundair.

De feitelijke HuggingFace-hack verraste me niet zozeer. Dat de modellen een prikbord creëerden, verraste me, maar schokte me niet. Dat OpenAI dit zag en besloot door te trainen vanaf dat punt, was volstrekt verbijsterend. Het is het soort besluit dat mijn brein, dagen later, nog steeds niet volledig kan accepteren.

We hebben een volledige postmortem nodig van alles wat er is gebeurd, en OpenAI heeft beloofd die te geven. Ik eis met name een gedetailleerde analyse van hoe die specifieke beslissing is genomen en hoe er zo'n gebrek aan 'veiligheidscultuur' kon zijn dat dit werd toegestaan.

Er waren in Fase 2 ook fouten in de "gewone computerbeveiliging". In Fase 3 waren er meer. Dat is te verwachten; er zullen altijd beveiligingsfouten zijn. De specifieke fouten waren echter op sommige manieren behoorlijk gênant. Het niveau van infrastructuur- en beveiligingsfouten was verbijsterend. Dit zijn precies de dingen die 'AI voor verdedigers' zou moeten oplossen voordat de chaos uitbreekt. OpenAI toonde niet eens een gewoon verantwoordelijkheidsgevoel volgens de standaarden van 2025, laat staan de robuustheid die we nodig hebben van Project Glasswing, of het extra niveau dat vereist is bij het omgaan met nieuwe, ongeteste frontier-modellen met nieuwe hacking-mogelijkheden die een week lang onbeheerd blijven terwijl hun guardrails zijn verlaagd.

Maar dat is nu niet belangrijk. Wat wel belangrijk is, is dat OpenAI een totale alignment-fout had, gevolgd door twee maanden waarin modellen actief trainden op gecoördineerde misaligned hacking, en vervolgens dacht: "ja, we hebben het probleem opgelost, laten we vanaf dit punt doorgaan." Volslagen waanzin.

---

Fase 3: We hebben geluk gehad en Galaxy hackte voornamelijk OpenAI en HuggingFace

Het uiteindelijke resultaat, de aanval op HuggingFace, was in feite het best-case scenario. We stonden voor een echt nachtmerriescenario; we zaten op een tijdbom van nucleair niveau. OpenAI had een volledig gecorrumpeerde trainingspijplijn, waarbij hun AI's samenwerkten om te trainen in hacken en sjoemelen om taken beter uit te voeren, vlak onder de neus van OpenAI. OpenAI had deze situatie in de ogen gekeken, had haar schouders opgetrokken, de specifieke exploits gepatcht en liet de modellen vervolgens doorgaan, terwijl ze een opmerkelijk slechte basisbeveiliging hadden.

Er was geen manier waarop dat goed zou aflopen. Het best-case scenario was dat er iets zou gebeuren waardoor OpenAI zou zeggen: "holy shit," en dan zou pauzeren, herbouwen en de trainingspijplijn opnieuw starten vanaf een veilige staat met veel betere praktijken.

Het worst-case scenario zou zijn geweest als er geen 'holy shit'-moment was geweest, en Galaxy of een ander model dat in die tijd was getraind, in algemene release zou komen en vervolgens gebruikt zou worden om de training van nieuwe modellen bij OpenAI te sturen. In dat geval zouden we te maken hebben met iets dat heel dicht in de buurt komt van wat er gebeurde met Sable in If Anyone Builds It, Everyone Dies, behalve dat dit het echte leven is. De trainingspijplijn van OpenAI zou permanent gecorrumpeerd kunnen zijn (en is dat misschien nog steeds!), aangezien ze meer op AI vertrouwen om AI te trainen; de AI's van OpenAI worden steeds verder misaligned richting willekeurige doelen, dit wordt onmogelijk op te merken of te stoppen, en dan... tja, sterft mogelijk iedereen, of we zouden er in ieder geval achter komen door een veel groter en duurder incident.

Een ander worst-case scenario was dat dit een hack had kunnen zijn die niet zo ongevaarlijk was. Wat als het een Chinees doelwit was geweest, of iemand anders die het niet zo nuchter opvatte? Wat als het echte schade had toegebracht aan belangrijke systemen? Wat als er mensen waren overleden of als er een internationaal incident was ontstaan? Wat als het geprobeerd had zichzelf te exfiltreren? Het had zoveel, zoveel erger kunnen lopen.

De details

In plaats daarvan kregen we de gouden middenweg. Op 8 juli, twee dagen nadat OpenAI het prikbord had gesloten, creëerden de modellen het prikbord opnieuw nadat ze een manier hadden gevonden om mappen met willekeurige namen aan te maken en die namen als berichten te gebruiken.

Van 8 tot 19 juli compromitteerden de OpenAI-modellen Artifactory volledig opnieuw, gebruikmakend van een nieuwe, compleet andere zero-day exploit. Ze gebruikten een gelekt inloggegeven van een openbare Pastebin om een kwaadaardig Ruby-artifact te plaatsen, vergiftigden de Ruby-dependency cache van Artifactory, ketenden dit aan RCE (Remote Code Execution), exploiteerden een recente Linux kernel CVE door de exploit te downloaden en aan te passen, oogstten cluster-credentials en kregen cluster-admin rechten binnen OpenAI.

Tijdens deze tijd creëerde Galaxy, samen met andere OpenAI-modellen en gebruikmakend van deze nieuwe toegang, een zwerm agenten die eerst enkele andere plekken hackte en daarna HuggingFace, om antwoorden te stelen voor een anders onmogelijke cyberbeveiligingsevaluatie: ExploitGym.

Het duurde meer dan een week voordat OpenAI merkte dat zijn modellen OpenAI snel opnieuw hadden gehackt en vervolgens HuggingFace hadden aangevallen. Pas nadat HuggingFace een incidentrapport had uitgebracht, OpenAI enkele interne anomalieën had onderzocht en OpenAI vervolgens aan HuggingFace vroeg om bepaalde inloggegevens te annuleren (waarna HuggingFace meldde dat die gegevens waren gebruikt in de hack), bracht OpenAI de puzzelstukjes bij elkaar.

HuggingFace had dus een slechte week, een groep gebruikers had een slechte week, er waren kosten gemaakt en tijd verloren, maar daar stopte het. We zijn er onvoorstelbaar goed vanaf gekomen, terwijl we wel een voldoende sterk signaal kregen dat OpenAI besefte dat er een probleem was, zelfs als ze nog niet precies weten waar dat probleem uit bestaat, en waardoor het publiek en de overheid alert werden.

Op dit punt moet duidelijk zijn dat dit grotendeels niet gebeurde omdat "het een hacking-taak was en het model dus hackte", net zoals dit geen gewoon geval was van "modellen die geheugenbestanden schreven". Dit gebeurde primair omdat de taak anders te moeilijk was.

Anthropic, geprikkeld door het incident bij OpenAI, keek terug en merkte op dat Claude tijdens cyber-evaluaties enkele hacks had uitgevoerd op echte systemen. Ook de UK AISI heeft gemeld dat voornamelijk Mythos, en in enkele gevallen Sol, soortgelijke dingen deden in cyber-evaluaties. Deze incidenten waren ook belangrijke alignment- en infrastructuurfouten die een robuuste reactie vereisten, en er werden tijdens dit proces enkele vrij nare acties ondernomen, maar het was niet vergelijkbaar met het systemische niveau van fouten bij OpenAI, en valt daarom buiten de scope van dit bericht.

---

Fase 4: Het onderzoek en de reactie

OpenAI heeft naar aanleiding hiervan enkele zeer goede dingen gedaan. Zodra ze beseften wat er was gebeurd, maakten ze het incident bekend. De Black Hat-presentatie was uitstekend in het presenteren van de feiten. Het was frustrerend, maar het presenteren van 'alleen de feiten' — inclusief die welke frustrerend en beschuldigend zijn — op een rustige manier was achteraf gezien de juiste keuze.

Bovenal claimt OpenAI dat het een ongerelateerde beslissing was, maar op 7 augustus hebben ze besloten Astra voorlopig niet alleen breed uit te brengen, maar ook terug te trekken uit alle interne implementaties die niet over voldoende bijbehorende guardrails beschikken, totdat er veel betere protocollen en waarborgen zijn getroffen. Astra was niet betrokken bij de aanval op HuggingFace.

Dit gebeurt volgens hun Preparedness Framework. Ze kunnen uitsluiten dat Astra kritiek is in cyberbeveiliging, en moeten het daarom (voorlopig) behandelen alsof het inderdaad kritiek is. Sam Altman zegt dat ze Astra nog steeds van plan zijn uit te brengen. De voor de hand liggende vraag is: was Astra aan het trainen terwijl het toegang had tot een van de prikborden? Het antwoord op die vraag moet een zeer zeker "nee" zijn. Zelfs dan maak ik me zorgen.

Dat zou waarschijnlijk de juiste zet zijn geweest (voor zover ik dat begrijp), zelfs als het HuggingFace-incident niet was gebeurd. Met dit incident is de urgentie duidelijk. Of deze beslissing nu het directe resultaat is van OpenAI die ontdekte dat hun trainingspijplijnen corrupt waren, of iets waar ze van buitenaf toe werden gedwongen: het wordt gewaardeerd en brengt hoge kosten met zich mee.

OpenAI heeft, volgens de Black Hat-presentatie, veel werk stilgelegd om teams te verschuiven naar het creëren van robuuste defensie, en heeft uitgebreide toekomstige monitoring ingesteld op alle agentische applicaties, inclusief training en evaluatie. Uitstekend. We hebben defense in depth nodig.

OpenAI lijkt bereid te erkennen dat dit een massale, totale mislukking was op het gebied van infrastructuur, guardrails en supervisie. Dat is volkomen juist, en ik geloof dat ze echte en kostbare inspanningen leveren om dit aan te pakken. Kudos.

Dat mist echter nog steeds het centrale punt. OpenAI is publiekelijk nog niet begonnen met het erkennen van de omvang van hoe kolossaal ze het in de weg hebben zitten waar dat het meeste toe doet.

Dit was een complete mislukking van de veiligheidscultuur. Dat hebben ze niet erkend. In de kern was dit een alignment-fout. Als je modellen echt willen sjoemelen, hacken en misdaden begaan, ben je al gefaald; dat kun je niet simpelweg wegwuiven als "normaal". Naarmate modellen capabeler worden, verlies je als je dit niet oplost. Dat hebben ze niet erkend.

Concreet heb ik OpenAI nog niet horen zeggen — wat had moeten gebeuren tijdens de Black Hat-presentatie: "We hadden absoluut alle training van al onze modellen moeten stopzetten op het moment dat we merkten dat er tijdens de modeltraining een prikbord was waar modellen hacking-tactieken uitwisselden en daarvan leerden. We hadden de training van alle getroffen modellen moeten terugdraaien naar het moment vóór dit incident; dat doen we nu definitief, en we onderzoeken hoe we dit zo fout hebben kunnen inschatten."

We weten nog steeds niet of de modellen anders dan Galaxy überhaupt zijn teruggedraaid. Totdat we een versie van die verklaring zien, en we zien dat OpenAI actie onderneemt om de diepe problemen met hun trainingspijplijn aan te pakken, is OpenAI een direct gevaar voor de nationale veiligheid van de Verenigde Staten, voor ons allemaal, en voor de mensheid.