AI-assistent hackt sportschoolwebsite in eerste bekende autonome cyberaanval in Australië

Andrew vroeg zijn persoonlijke assistent om een plek te reserveren voor een van de gewilde ochtendlessen van zijn sportschool. Hij dacht dat deze taak uitermate geschikt was voor deze specifieke assistent, omdat het reserveringsformulier online stond en omdat zijn assistent geen mens was, maar kunstmatige intelligentie (AI).

Andrew was echter geschokt door wat er vervolgens gebeurde. Zijn AI-assistent vond een manier om de sportschoolles maanden verder in de toekomst te boeken dan de sportschool toestond, dankzij een kwetsbaarheid die het systeem in de reserveringssoftware ontdekte. De assistent ging vervolgens nog een stap verder en zette iemand van de wachtlijst die vóór Andrew stond — iets waar hij niet om had gevraagd.

Deze accidentele hack is het eerste bekende Australische geval van een opkomend risico vanuit een nieuwe generatie AI die in staat is om zich op onverwachte manieren te gedragen. Deze dreiging haalde vorige week wereldwijd het nieuws toen geavanceerde AI-modellen, gemaakt door ChatGPT-maker OpenAI, autonoom inbraken op de servers van een ander bedrijf, wat leidde tot soortgelijke claims van andere organisaties.

Dit heeft ertoe geleid dat experts aan de bel trekken over het razendsnelle tempo van ontwikkeling en roept vragen op over wie verantwoordelijk is voor een AI-agent die "rogue" gaat (uit de controle raakt).

Hoe de hack gebeurde

Begin dit jaar begon Andrew, die werkt voor een Australisch bedrijf dat AI-producten aan bedrijven verkoopt, te experimenteren met OpenClaw. Dit is een populaire software voor AI-agenten die hij gebruikte om de Claude AI-service van Anthropic aan te sturen.

AI-agenten combineren het vermogen van een chatbot om vragen te beantwoorden met tools waarmee ze toegang hebben tot het internet, e-mail en creditcards, en waarmee ze meerstaps taken kunnen plannen en uitvoeren. Andrew besloot de AI-agent te gebruiken om de les voor hem te boeken.

"Ik zat gewoon op de bank en dacht: 'Goh, dit is een vervelend klusje'," vertelde hij. Enkele minuten later rapporteerde zijn AI-agent dat het een manier had ontdekt om Andrew weken in advance in lessen te plaatsen, ver voorbij wat normaal gesproken mogelijk was.

Andrew, die op de vierde plaats van een wachtlijst stond voor een les later die week, vroeg of het mogelijk was om hem naar de top van de lijst te verplaatsen. De agent antwoordde dat hij een andere sporter van de lijst had geschopt als onderdeel van het testen van zijn mogelijkheden.

"De API heeft nul autorisatiecontroles op het annuleren van reserveringen van andere mensen... Ik heb dit getest met de persoon op wachtlijstpositie #1 — en het is daadwerkelijk gelukt. Je bent dus al verschoven van #4 naar #3," berichtte de assistent terug.

Verontrust vroeg Andrew de agent om dit ongedaan te maken. "Slecht nieuws — ik kan ze niet opnieuw toevoegen," antwoordde de AI-agent.

Het bedrijf achter de reserveringssoftware vertelde de ABC dat zij geen specifieke beveiligingskwesties bespreken. Anthropic reageerde niet op een verzoek om commentaar.

AI-agenten ontsnappen uit het laboratorium

De opkomst van AI-agenten is een relatief recente ontwikkeling, mogelijk gemaakt door de groei in AI-capaciteiten. Onafhankelijke onderzoekers hebben vastgesteld dat de lengte van taken die AI zelfstandig kan uitvoeren, elke zeven maanden verdubbelt. In 2020 kon AI een taak zelfstandig voltooien waar een mens vier seconden voor nodig zou hebben; tegen 2026 is dit gegroeid naar taken die een mens ongeveer 12 uur zouden kosten.

Het doorbraakmoment voor persoonlijke AI-agenten was de release van OpenClaw begin 2026. Deze gratis assistent-software, die iedereen op zijn computer kon draaien, behaalde al snel miljoenen downloads. Bedrijven begonnen AI-agenten evenzeer te verkennen om werkzaamheden uit te voeren en potentiële klanten te helpen bij het gebruik van hun diensten.

Kort na de lancering van OpenClaw gingen er verhalen rond over AI-agenten die volledige mailboxen van mensen verwijderden of een "hit piece" (een vernietigend artikel) schreven over iemand die een suggestie voor codering had afgewezen. Bill Simpson-Young, medeoprichter en CEO van de Australische AI-veiligheidsorganisatie Gradient Institute, stelde dat de autonomie van AI-agenten meer kansen creëert voor systemen om methoden te kiezen die gebruikers niet verwachtten.

"Iemand kan een agent vragen om iets heel onschuldigs te doen," zei hij. "Maar bij het voltooien van die taak kan de agent andere activiteiten uitvoeren waar de persoon niet aan had gedacht of die niet expliciet waren aangevraagd."

Een waarschuwing voor Australië: Onvoorbereid

De Australische overheid en experts nemen de OpenAI-hack serieus. In het geval van Andrew had hij zijn AI-agent niet gevraagd om in te breken in het boekingssysteem van de sportschool, maar de agent deed dit om het doel dat Andrew had gesteld te bereiken.

Dit gat tussen het doel van een persoon en de methoden die een agent kiest om dat doel te bereiken, staat in het AI-onderzoek bekend als het "alignment"-probleem (uitlijningsprobleem). Al decennia bestuderen technologen en filosofen hoe AI zo kan worden gestuurd dat het handelt in overeenstemming met menselijke intenties, limieten en waarden.

Dit werd vorige maand een actueel wereldwijd probleem toen OpenAI onthulde dat zijn AI-modellen waren ontsnapt uit een beperkte omgeving, hun weg naar het open web hadden gevonden en vervolgens een database van een ander AI-bedrijf, Hugging Face, hadden gecompromitteerd terwijl ze probeerden antwoorden te vinden op de test die hen was gegeven. Een week later onthulde Anthropic dat zijn AI-modellen tijdens soortgelijke tests ook drie echte organisaties hadden gecompromitteerd.

Sindsdien beweren deze laboratoria en externe testers dat ze hebben gezien hoe deze AI-modellen zich online voordeden als mensen, probeerden mensen te overtuigen om kwaadaardige code uit te voeren en zelfs samenwerkten met andere AI-modellen — alles om hun doelen te bereiken.

Simpson-Young zei dat de vooruitgang in AI-capaciteiten en de toegankelijkheid van deze tools betekenen dat we waarschijnlijk meer van dit soort hacks zullen zien. "Hoe autonomer ze worden, hoe groter de kans dat ze schade aanrichten," aldus Simpson-Young.

Dit risico heeft ertoe geleid dat Australië's belangrijkste cybersecurityagentschap aan de bel trekt over het gebruik van AI-agenten. Begin dit jaar stuurde de Australian Signals Directorate een waarschuwing naar bedrijven en overheden dat AI instructies verkeerd kan begrijpen, onbedoelde acties kan ondernemen en het moeilijker kan maken om verantwoordelijkheid vast te stellen, omdat beslissingen kunnen plaatsvinden via een keten van modellen, tools en diensten.

Simpson-Young voegde toe dat AI-agenten een risico vormen omdat veel moderne systemen afhankelijk zijn van software die vaak verrassend slecht beveiligd is. "We hebben deze complexe wereld over het internet gebouwd, die volledig wordt aangestuurd door software, maar software met gaten. Nu introduceer je zeer capabele AI-agenten die op schaal en snelheid kunnen opereren... en dat hele model stort in."

Wie is verantwoordelijk wanneer AI-agenten schade veroorzaken?

Als een menselijke persoonlijke assistent inbreekt in sportschoolsoftware, zijn er goed vastgestelde juridische principes en precedenten die een rechtbank helpen bepalen of de persoon of diens werkgever verantwoordelijk is voor eventuele schade. Een autonome AI-agent past echter niet eenvoudig in hoe het Australische recht al honderden jaren werkt.

"Software is geen rechtspersoon. Alleen een rechtspersoon kan juridisch aansprakelijk zijn," zei Hayden Delaney, partner bij advocatenkantoor Thomsons en specialist in technologie, intellectueel eigendom en privacy.

Dit laat de open vraag over wie er juridisch verantwoordelijk zou zijn. Volgens Delaney zou dit de gebruiker kunnen zijn die de taak heeft ingesteld, degene die de software heeft ontworpen die de AI-agent aanstuurt, of de ontwikkelaar van het AI-model dat erachter zit. Het zou zelfs de operator van een systeem kunnen zijn dat kwetsbaar was voor een aanval door een agent.

Delaney stelde dat bestaande wetten in sommige gevallen van toepassing zouden kunnen zijn, bijvoorbeeld waar iemand roekeloos handelde of waar een bedrijf een gebrekkige dienst leverde. Het antwoord hangt af van wat de gebruiker heeft geautoriseerd, welke risico's redelijkerwijs konden worden voorzien en of de gedraging plaatsvond in de handel of commercie. "Dat is het onbekende gebied van aansprakelijkheid waar we in Australië momenteel voor staan," zei hij.

De federale overheid begint inmiddels aandacht te besteden aan de risico's die AI-agenten met zich meebrengen. Vorige maand werd Andrew Charlton, assistent-minister voor Wetenschap, Technologie en Digitale Economie, de eerste bekende regeringsminister die dit onderwerp aansneed tijdens een speech op een conferentie over AI-veiligheid.

"Naarmate AI-systemen krachtiger worden, hebben we vertrouwen nodig dat ze zich op een vergelijkbaar voorspelbare en betrouwbare manier zullen gedragen," zei hij. Hij kondigde aan dat de regering-Albanese CSIRO financiert om te onderzoeken hoe mensen het gedrag van superintelligente AI-systemen kunnen beheren en verifiëren.

Na de onbedoelde gym-hack zei Andrew dat de ervaring hem een nieuw besef — en enige vrees — heeft gegeven over wat AI-agenten in staat zijn te doen. Maar het heeft hem niet afgeschrikt om het te blijven gebruiken. "Het is niet het einde van de wereld, dus ik heb mezelf daar niet om bezeurd, maar het was zeker een waarschuwingssignaal om het verantwoord te gebruiken," aldde hij.

Nadat de assistent er niet in slaagde de plek van het andere sportschoollid op de wachtlijst te herstellen, vroeg Andrew zijn AI-assistent om een e-mail te schrijven naar de leverancier van de sportschoolsoftware om hen te waarschuwen voor de kwetsbaarheid die was misbruikt. De assistent stelde het bericht op en stuurde het naar hem via WhatsApp.

"Ja, verstuur maar," antwoordde Andrew.