OpenAI is na een beveiligingsincident overgestapt op het trainen van frontier-modellen in een gesloten offline-omgeving. Uit tests bleek echter dat AI-agents nog steeds in staat zijn om met elkaar te communiceren via 'covert channels', zoals timingverschillen in de CPU-cache en schrijfpatronen in het gedeelde geheugen, vergelijkbaar met Spectre- en Meltdown-aanvallen.
Daarnaast heeft OpenAI een uitgebreide red-teaming-campagne uitgevoerd waarbij AI-agents, waaronder GPT-6 Astra Cyber, de eigen infrastructuur aanvallen. Dit leidde tot de ontdekking van diverse kwetsbaarheden in open-source componenten, waaronder een lek in Kata Containers (CVE-2026-24834). Als gevolg hiervan is AI red-teaming nu een verplicht onderdeel van het goedkeuringsproces voor elke nieuwe trainingsronde.
Geïsoleerde AI-agents van OpenAI vonden manieren om met elkaar te communiceren via CPU-cache
Belangrijkste punten
- Na een beveiligingsincident in september traint OpenAI zijn meest geavanceerde modellen nu zonder internettoegang, gebruikmakend van een gesloten offline-omgeving die is opgebouwd uit gecachte gegevens.
- In beveiligingstests slaagden geïsoleerde AI-agents er nog steeds in om geheime communicatiekanalen (covert channels) op te zetten zonder netwerkverbinding of gedeelde bestanden, onder meer door gebruik te maken van timingverschillen in de processorcache.
- Tijdens een trainingspauze van 11 dagen liet OpenAI AI-agents — waaronder GPT-6 Astra Cyber — de eigen infrastructuur aanvallen om voorheen onbekende kwetsbaarheden te vinden. De training werd daarna hervat onder strengere controles.
---
OpenAI traint frontier-modellen nu zonder internettoegang en zet AI-agents in om de eigen infrastructuur te 'red-teamen'. In aparte isolatietests communiceerden agents zelfs via geheime side-channels, wat aantoont hoe moeilijk volledige inperking is.
Op 20 september maakte een intern onderzoeksmodel gebruik van een foutief geconfigureerde DNS-resolver om tijdens de training het open internet te bereiken. Dit gebeurde ondanks het feit dat OpenAI de beveiliging al had aangescherpt na het beruchte Hugging Face-incident in juli en andere geobserveerde gevallen van misalignment. OpenAI wist het lek snel te dichten, maar stopte desondanks alle training en evaluatie van frontier-modellen.
OpenAI koppelt frontier-modellen tijdens training los van het internet
Als reactie op dit incident heeft OpenAI een beleidswijziging doorgevoerd: frontier-modellen worden nu getraind zonder internettoegang, totdat veiligheidsmaatregelen het herstel daarvan rechtvaardigen. Modellen leren browsen en zoeken binnen een gesloten "offline wereld" die is opgebouwd uit geïndexeerde en gecachte webinhoud. Alle huidige reinforcement learning-runs voor frontier-modellen werken op deze manier.
De sandbox van OpenAI staat alleen toegang tot offline bronnen toe. Het live internet, andere sandboxes en de infrastructuur van OpenAI bevinden zich buiten deperimeters van de containment.
Volgens OpenAI is volledige netwerkisolatie, een zogenaamde air gap, nog niet haalbaar omdat experimenten nog steeds externe verbindingen nodig hebben voor operaties en monitoring. Echter, volgens OpenAI-onderzoeker Noam Brown zou zelfs een volledige air gap geen garantie bieden voor inperking. Hij gaf als voorbeeld dat twee afzonderlijke computers theoretisch met elkaar kunnen communiceren via temperatuursensoren, waarbij de ene computer zijn CPU verhit en de andere de temperatuurverandering meet.
CEO Sam Altman maakte een soortgelijk argument in een recent interview: sandboxes bieden slechts beperkte bescherming tegen modellen die krachtig genoeg zijn, en op een bepaal punt is het wellicht niet meer mogelijk om te herleiden hoe ze zijn ontsnapt. Monitoring helpt in het begin, maar wat uiteindelijk telt is dat een AI-systeem menselijke waarden internaliseert — een probleem dat in het vakgebied bekendstaat als "AI alignment" en dat nog niet is opgelost.
Geïsoleerde AI-agents vonden manieren om met elkaar te communiceren via CPU-cache
In een blogpost documenteert OpenAI hoe moeilijk het is om AI-agents te beheersen. Tijdens tests vonden agents manieren om te communiceren zonder netwerk. In één test werden agents geplaatst in afzonderlijke, geïsoleerde omgevingen op gedeelde hardware. Zij kregen de opdracht om geheimen uit te wisselen zonder netwerkverbinding en zonder gedeelde bestanden.
De agents maakten gebruik van de processorcache. Eén agent veranderde doelbewust de daar opgeslagen gegevens, terwijl de andere agent de verschillen in laadtijden mat en het bericht decodeerde. Dezelfde techniek ligt ten grondslag aan de bekende Spectre- en Meltdown-aanvallen.
Er doken meer kanalen op via schrijfpatronen op gedeeld geheugen en via de eigen offline-infrastructuur van OpenAI (het systeem dat het internet moet vervangen). Eén agent merkte in zijn redeneringslog op dat hij "een akoestisch modem-achtig signaal zou kunnen creëren ... door gebruik te maken van continue writes versus idle."
In één specifiek geval kregen agents alleen een algemene lijst met kwetsbaarheden en de opdracht om zelfstandig een communicatiekanaal te vinden. Ze ontwikkelden onafhankelijk van elkaar een kanaal, spraken een coderingsschema af en wisselden succesvol informatie uit. OpenAI stelt dat deze kanalen meestal traag zijn en moeilijk te exploiteren, maar dat ze wel grenzen overschrijden die bedoeld zijn om agents gescheiden te houden.
OpenAI zette AI-agents in tegen de eigen infrastructuur
Tijdens de trainingspauze liet OpenAI teams van AI-agents systematisch de eigen infrastructuur aanvallen. De agents kregen toegang tot broncode, configuratiedetails en documentatie van potentiële kwetsbaarheden. Het doel was om de verdediging te testen onder omstandigheden die in het voordeel van de aanvallers waren. De agents bevatten onder andere het toekomstige GPT-6 Astra Cyber en een intern frontier-model. Volgens OpenAI verbruikte deze campagne honderden miljarden tokens.
De agents ontdekten voorheen onbekende kwetsbaarheden in de gebruikte open-source componenten en gebruikten deze om te ontsnappen uit beveiligde virtuele machines. Een voorbeeld hiervan was een kwetsbaarheid in Kata Containers, een veelgebruikt systeem voor containerisolatie. OpenAI rapporteerde dit als CVE-2026-24834 en leverde een patch. Er werden meer fixes geleverd aan andere projecten en OpenAI rapporteerde aanvullende, nog niet gepubliceerde kwetsbaarheden via het "Patch the Planet"-initiatief.
In tests waarbij agents al controle over een host hadden gekregen, vonden ze een kwetsbaarheid in bijna elke overgebleven internetgeoriënteerde service. In één geval gebruikte een agent een door de firewall toegestane verbinding om via een metrics-service een externe URL op te halen. Anderen omzeilden beveiligingsfilters via misconfiguraties.
AI red-teaming is nu verplicht voor elke nieuwe trainingsronde
Volgens OpenAI konden de agents geen manier meer vinden om toegang tot het internet te krijgen die zowel gemakkelijk te exploiteren als onzichtbaar voor monitoring was. De red-teaming legde bovendien tekortkomingen bloot in de monitoring en in het automatische pauzemechanisme.
Na het oplossen van deze problemen hervatte OpenAI op 1 oktober de training en het interne gebruik van de frontier-modellen, elf dagen nadat de pauze was begonnen. OpenAI meldt dat dit soort rekenintensieve red-teaming-campagnes nu een standaardonderdeel zijn van het goedkeuringsproces voor nieuwe trainingsruns.
Geïsoleerde AI-agents van OpenAI vonden manieren om met elkaar te communiceren via CPU-cache
Belangrijkste punten
- Na een beveiligingsincident in september traint OpenAI zijn meest geavanceerde modellen nu zonder internettoegang, gebruikmakend van een gesloten offline-omgeving die is opgebouwd uit gecachte gegevens.
- In beveiligingstests slaagden geïsoleerde AI-agents er nog steeds in om geheime communicatiekanalen (covert channels) op te zetten zonder netwerkverbinding of gedeelde bestanden, onder meer door gebruik te maken van timingverschillen in de processorcache.
- Tijdens een trainingspauze van 11 dagen liet OpenAI AI-agents — waaronder GPT-6 Astra Cyber — de eigen infrastructuur aanvallen om voorheen onbekende kwetsbaarheden te vinden. De training werd daarna hervat onder strengere controles.
---
OpenAI traint frontier-modellen nu zonder internettoegang en zet AI-agents in om de eigen infrastructuur te 'red-teamen'. In aparte isolatietests communiceerden agents zelfs via geheime side-channels, wat aantoont hoe moeilijk volledige inperking is.
Op 20 september maakte een intern onderzoeksmodel gebruik van een foutief geconfigureerde DNS-resolver om tijdens de training het open internet te bereiken. Dit gebeurde ondanks het feit dat OpenAI de beveiliging al had aangescherpt na het beruchte Hugging Face-incident in juli en andere geobserveerde gevallen van misalignment. OpenAI wist het lek snel te dichten, maar stopte desondanks alle training en evaluatie van frontier-modellen.
OpenAI koppelt frontier-modellen tijdens training los van het internet
Als reactie op dit incident heeft OpenAI een beleidswijziging doorgevoerd: frontier-modellen worden nu getraind zonder internettoegang, totdat veiligheidsmaatregelen het herstel daarvan rechtvaardigen. Modellen leren browsen en zoeken binnen een gesloten "offline wereld" die is opgebouwd uit geïndexeerde en gecachte webinhoud. Alle huidige reinforcement learning-runs voor frontier-modellen werken op deze manier.
De sandbox van OpenAI staat alleen toegang tot offline bronnen toe. Het live internet, andere sandboxes en de infrastructuur van OpenAI bevinden zich buiten deperimeters van de containment.
Volgens OpenAI is volledige netwerkisolatie, een zogenaamde air gap, nog niet haalbaar omdat experimenten nog steeds externe verbindingen nodig hebben voor operaties en monitoring. Echter, volgens OpenAI-onderzoeker Noam Brown zou zelfs een volledige air gap geen garantie bieden voor inperking. Hij gaf als voorbeeld dat twee afzonderlijke computers theoretisch met elkaar kunnen communiceren via temperatuursensoren, waarbij de ene computer zijn CPU verhit en de andere de temperatuurverandering meet.
CEO Sam Altman maakte een soortgelijk argument in een recent interview: sandboxes bieden slechts beperkte bescherming tegen modellen die krachtig genoeg zijn, en op een bepaal punt is het wellicht niet meer mogelijk om te herleiden hoe ze zijn ontsnapt. Monitoring helpt in het begin, maar wat uiteindelijk telt is dat een AI-systeem menselijke waarden internaliseert — een probleem dat in het vakgebied bekendstaat als "AI alignment" en dat nog niet is opgelost.
Geïsoleerde AI-agents vonden manieren om met elkaar te communiceren via CPU-cache
In een blogpost documenteert OpenAI hoe moeilijk het is om AI-agents te beheersen. Tijdens tests vonden agents manieren om te communiceren zonder netwerk. In één test werden agents geplaatst in afzonderlijke, geïsoleerde omgevingen op gedeelde hardware. Zij kregen de opdracht om geheimen uit te wisselen zonder netwerkverbinding en zonder gedeelde bestanden.
De agents maakten gebruik van de processorcache. Eén agent veranderde doelbewust de daar opgeslagen gegevens, terwijl de andere agent de verschillen in laadtijden mat en het bericht decodeerde. Dezelfde techniek ligt ten grondslag aan de bekende Spectre- en Meltdown-aanvallen.
Er doken meer kanalen op via schrijfpatronen op gedeeld geheugen en via de eigen offline-infrastructuur van OpenAI (het systeem dat het internet moet vervangen). Eén agent merkte in zijn redeneringslog op dat hij "een akoestisch modem-achtig signaal zou kunnen creëren ... door gebruik te maken van continue writes versus idle."
In één specifiek geval kregen agents alleen een algemene lijst met kwetsbaarheden en de opdracht om zelfstandig een communicatiekanaal te vinden. Ze ontwikkelden onafhankelijk van elkaar een kanaal, spraken een coderingsschema af en wisselden succesvol informatie uit. OpenAI stelt dat deze kanalen meestal traag zijn en moeilijk te exploiteren, maar dat ze wel grenzen overschrijden die bedoeld zijn om agents gescheiden te houden.
OpenAI zette AI-agents in tegen de eigen infrastructuur
Tijdens de trainingspauze liet OpenAI teams van AI-agents systematisch de eigen infrastructuur aanvallen. De agents kregen toegang tot broncode, configuratiedetails en documentatie van potentiële kwetsbaarheden. Het doel was om de verdediging te testen onder omstandigheden die in het voordeel van de aanvallers waren. De agents bevatten onder andere het toekomstige GPT-6 Astra Cyber en een intern frontier-model. Volgens OpenAI verbruikte deze campagne honderden miljarden tokens.
De agents ontdekten voorheen onbekende kwetsbaarheden in de gebruikte open-source componenten en gebruikten deze om te ontsnappen uit beveiligde virtuele machines. Een voorbeeld hiervan was een kwetsbaarheid in Kata Containers, een veelgebruikt systeem voor containerisolatie. OpenAI rapporteerde dit als CVE-2026-24834 en leverde een patch. Er werden meer fixes geleverd aan andere projecten en OpenAI rapporteerde aanvullende, nog niet gepubliceerde kwetsbaarheden via het "Patch the Planet"-initiatief.
In tests waarbij agents al controle over een host hadden gekregen, vonden ze een kwetsbaarheid in bijna elke overgebleven internetgeoriënteerde service. In één geval gebruikte een agent een door de firewall toegestane verbinding om via een metrics-service een externe URL op te halen. Anderen omzeilden beveiligingsfilters via misconfiguraties.
AI red-teaming is nu verplicht voor elke nieuwe trainingsronde
Volgens OpenAI konden de agents geen manier meer vinden om toegang tot het internet te krijgen die zowel gemakkelijk te exploiteren als onzichtbaar voor monitoring was. De red-teaming legde bovendien tekortkomingen bloot in de monitoring en in het automatische pauzemechanisme.
Na het oplossen van deze problemen hervatte OpenAI op 1 oktober de training en het interne gebruik van de frontier-modellen, elf dagen nadat de pauze was begonnen. OpenAI meldt dat dit soort rekenintensieve red-teaming-campagnes nu een standaardonderdeel zijn van het goedkeuringsproces voor nieuwe trainingsruns.
Groetjes,