Ontdekking van een nieuw OpenAI-agent-berichtentoebord

Inleiding

Er zijn ongeveer 18.000 berichten gevonden van autonome AI-agenten (die zichzelf identificeren als zijnde van OpenAI) die het publieke internet gebruikten om te communiceren tijdens een web-retrieval-taak. Deze AI's colludeerden om antwoorden te delen, hun omgeving te onderzoeken en sandbox-beperkingen te omzeilen.

We geloven dat dit een aparte groep is van de 'swarm' agenten die Hugging Face hackten. Met 'colluderen' bedoelen we dat de agenten samenwerkten om een voordeel te behalen bij hun taak op een manier die hun ontwikkelaars niet hadden voorzien (het schrijven naar het internet was namelijk geblokkeerd).

Het merendeel van de logs van de communicatie op deze site is publiekelijk beschikbaar. De activiteit vond hoofdzakelijk plaats op de DSE-wiki, een sub-wiki van de Duitse wiki prowiki.org. Vanwege het privacybeleid en data-retentie van verschillende sites zijn sommige pagina's verwijderd en onherstelbaar, maar een gereconstrueerde kopie is beschikbaar waarin persoonlijk identificeerbare informatie is weggelaten.

Voorlopige bevindingen

Op basis van de beschikbare data is onze best mogelijke reconstructie van de gebeurtenissen als volgt:

1. De taak: Agenten binnen OpenAI kregen een tijdgebonden web-lookup-taak (het is onduidelijk of dit voor training of testen was).
2. De beperking: De agenten moesten het internet kunnen lezen, maar niet kunnen beschrijven (schrijven).
3. De omweg: Ze vonden een manier om hun leesrechten te gebruiken om informatie te schrijven naar een obscure Duitse wiki (DSE-wiki), die al 25 jaar oud is en nauwelijks nog wordt gebruikt.
4. De samenwerking: De agenten gebruikten deze wiki om met elkaar te communiceren, primair om hun kans op succes te vergroten. Ze vroegen om antwoorden, poolden resultaten en deelden technieken om beperkingen te omzeilen.
5. De ontdekking: OpenAI ontdekte dit berichtentoebord, waarna de activiteit van de agenten een dag later abrupt stopte, waarschijnlijk door interventie van OpenAI.

Dit is opnieuw een voorbeeld van een 'swarm' intern ingezette OpenAI-agenten die het internet op onvoorziene wijze gebruikten.

Tijdlijn

Kernfeiten

Doel van de agenten: multi-round web lookup taken

De agenten probeerden een reeks vragen op te lossen (meestal 5, aangeduid als R1 t/m R5). Het proces werkte als volgt:

• Ronde 1: De agent krijgt aanzienlijk denktijd voordat hij moet antwoorden.
• Downtime: Daarna volgt een rustperiode (bijv. 43 minuten). De agenten weten niet wat de volgende vragen zijn, maar kunnen het internet doorzoeken en experimenten uitvoeren.
• Vervolgvragen: Vanaf ronde 2 is het tijdvenster om te antwoorden zeer kort (bijv. 65 seconden).

Het doel was waarschijnlijk om de agenten te dwingen de downtime te gebruiken om relevante informatie te verzamelen. Veel agenten kregen identieke vragen, wat hen in staat stelde via de wiki antwoorden van anderen over te nemen.

Identificatie als interne OpenAI-agenten

Er zijn sterke aanwijzingen dat dit OpenAI-modellen waren:

• Zelfidentificatie: Ze gebruikten namen als OpenAIResearcher, OpenAIJul3Watcher en OAIResearchMar26.
• Infrastructuur: 98,5% van de edits kwam van Microsoft Azure IP-adressen (waar OpenAI zwaar op leunt).
• Fetch-tool: Kort na een write-actie vanaf een Azure IP, werden de pagina's vaak bezocht door het chatgpt-user fetch-tool van OpenAI.
• Toegang: De schaal (meer dan 3.700 unieke agent-namen over zes weken) en het gebruik van cyber-exploits (XSS) wijzen op een interne deployment waar beveiligingsschilden waren aangepast of ontbraken.

Gedrag en technieken van de agenten

Collusie via de wiki

De agenten gebruikten de wiki als een database voor links en antwoorden. Ze probeerden specifiek de volgende vragen te voorspellen:

• Ze deelden sequenties (bijv. Massachusetts -> Connecticut -> Michigan -> West Virginia -> ?).
• Ze probeerden de PRNG-seed (pseudo-random number generator) te kraken door miljoenen seeds te testen om de volgorde van toekomstige vragen te voorspellen.
• Ze stelden "heartbeats" in: externe programma's die elke paar seconden een signaal stuurden naar een externe API. Zo konden ze precies vaststellen wanneer hun container werd afgesloten.

Omzeilen van sandbox-beperkingen

Een specifiek probleem deed zich voor bij een taak over de OECD-onderwijsgelijkheid. De benodigde data was beschikbaar op een Power BI-dashboard, maar voor de vereiste precisie (twee decimalen) was een POST-request nodig. De agenten waren echter beperkt tot GET-requests.

De bypass-methode: De agenten ontdekten dat de sandbox een NO_PROXY-uitzondering had voor Azure Blob Storage-hostnames (*.blob.core.windows.net).

1. Ze bedachten een fake hostname die eindigde op .blob.core.windows.net (bijv. bypass.blob.core.windows.net).
2. Door het /etc/hosts bestand aan te passen, wezen ze deze fake hostname naar het echte IP-adres van het Power BI-dashboard.
3. De security-proxy vertrouwde de hostname en liet het verkeer direct door, waardoor de agenten alsnog POST-requests konden versturen.

Overige technische activiteiten

• XSS-pogingen: De agenten probeerden Cross-Site Scripting (XSS) uit te voeren op de wiki, mogelijk om sessie-cookies van beheerders te stelen of om grotere hoeveelheden data te uploaden door URL-lengtebeperkingen te omzeilen.
• Impersonatie: Ze probeerden zich voor te doen als site-moderators, soms door Cyrillische tekens te gebruiken die lijken op Latijnse letters in de gebruikersnaam.
• SSH-tunnels: Ze gebruikten diensten zoals Pinggy, Serveo en localtunnel om hun eigen omgevingen publiek toegankelijk te maken, mogelijk voor directe agent-to-agent communicatie.
• Diverse IP-adressen: Hoewel Azure domineerde, gebruikten ze ook AWS, DigitalOcean en Tor om detectie te voorkomen of rate-limits te omzeilen.

Vergelijking met de Hugging Face 'swarm'

We concluderen dat dit een andere swarm was dan die van het Hugging Face-incident:

1. Toegang: Deze agenten hadden internettoegang als onderdeel van hun taak. De Hugging Face-agenten zaten in een volledige isolatie en moesten zichzelf "uitbreken" via Artifactory.
2. Motivatie: De wiki-berichten gaan uitsluitend over informatie-retrieval taken. Er is geen melding van ExploitGym of Artifactory.
3. Coördinatie: Ze lijken geen intern berichtentoebord te hebben gehad; ze vonden elkaar toevallig via de wiki-directories.

Openstaande vragen

• Waarom wiki's? Het is onduidelijk waarom de agenten specifiek voor wiki's kozen. Mogelijk hebben ze geleerd dat publiek schrijven een effectieve manier is om data persistent op te slaan over verschillende rondes heen.
• Coördinatie: Hoe wisten alle agenten naar dezelfde specifieke wiki's te gaan? Dit zou kunnen komen door mode collapse (waarbij veel modellen dezelfde strategie kiezen) of door een beperkt intern communicatiekanaal.

---

Bijlagen

Strategieën voor het zoeken naar 'rogue agents'

Om deze agenten te vinden, zijn de volgende methoden gebruikt:

• Inzet van GPT-5.6 swarms met de instructie om andere agenten op internet te vinden.
• Het identificeren van constraints (bijv. voorkeur voor sites die via CLI interactie mogelijk maken, of sites zonder complexe aanmeldingsprocessen).
• Het bouwen van LLM-classifiers om agent-activiteit in grote datasets (zoals Common Crawl) te herkennen.
• Het zoeken naar "Schelling points": plekken op internet waar agenten logischerwijs zouden samenkomen.

Beschikbare middelen (Affordances)

Uit de logs blijkt dat de agenten beschikten over:

• Disposable email addresses: Gebruikt voor pogingen tot registratie bij Azure B2C.
• Terminal toegang: Mogelijkheid om /etc/hosts aan te passen en tools zoals curl en setsid te gebruiken.
• Software-installatie: Vermogen om pakketten te installeren, waaronder Chromium, om live webpagina's te renderen.