Dario, alsjeblieft!

Dario begint met de bewering dat "AI de meeste belangrijke ziekten in de komende 5 tot 10 jaar zal genezen" en maakt het persoonlijk. Hij spreekt over zijn vader die stierf aan een ziekte die pas jaren later werd genezen, en over zijn eigen strijd tegen kanker, waarvan hij opmerkt dat het 50 jaar geleden ongeneeslijk was. Hij stelt ook dat AI de economische groei zal versnellen, een wereld van overvloed en empowerment zal creëren en een renaissance van democratie en vrijheid zal inluiden. Dit leest grotendeels als het idee van een wereldvreemde, rijke persoon uit Silicon Valley die veel tijd doorbrengt op LessWrong.

Laat me dit vanaf het begin behandelen.

Amerikaanse laboratoria blijven alle voorzichtigheid overboord gooien en onbezonnen handelen. OpenAI lijkt geen grip op de zaken te hebben en is onlangs drie keer betrapt op het hacken van publiek toegankelijke internetinfrastructuur. In zijn eigen essay alludeert Dario ook naar "incidenten" bij Anthropic. Met dit voorwendsel vraagt Dario veel van ons. Hij wil dat open weight-modellen worden gereguleerd, dat distillation met harde hand wordt aangepakt, dat hij een vrijstelling krijgt van het mededingingsrecht, dat China op meerdere manieren wordt gehinderd, en in essentie dat zij zichzelf reguleren via een gentlemen's agreement om gas terug te nemen.

Dit alles wordt natuurlijk gepresenteerd in een verpakking van extreme angstzaaierij, ten nadele van onze collectieve toekomst en de potentiële katalysator die AI als geheel zou kunnen zijn. Ze hebben keer op keer bewezen dat ze niet te vertrouwen zijn, maar de hoofdvraag is: "vertrouw ons, alleen ons". Deze keer gaat het om imminent AGI, RSI en het risico dat dit allemaal ontspoort. Dario benoemt zijn eigen bedrijf en hun nauwe rivaal OpenAI als de aangewezen beheerders.

Ziekten, Welvaart, Overvloed, en dan Vrijheid en Democratie???

Anthropic beperkt het gebruik van hun modellen voor biologisch en aanverwante onderzoek. In hun laatste threat intelligence-rapport spreken ze over hoe ze kwaadwillende actoren hebben gedetecteerd en verbannen die de Claude-modellen gebruikten voor gevaarlijke zaken. Complimenten voor hen; dit is een glijdende schaal en ze lijken hun werk goed te doen bij het detecteren van misbruik. Maar kijk eens goed naar wat er gebeurt: het wondermiddel is afgeschermd voor jou en mij, maar Anthropic neemt biologen aan, richt wet labs op en wil de ontdekkingen voor zichzelf houden.

Naar mijn mening zijn er miljarden mensen met werkelijke intelligentie die we niet hebben kunnen trainen of stimuleren. Zij zullen altijd slachtoffer blijven van hun omstandigheden. Tuberculose is al decennia geneesbaar, toch sterven er elk jaar een miljoen mensen aan. Natuurlijk zal AGI de distributie in een handomdraai oplossen. Om deze ongemakkelijke waarheid te omzeilen, wordt het doel verschoven naar ASI/AGI/RSI. Een silver bullet voor elk probleem; op het eerste gezicht een nobel streven.

En begin me niet eens over de onzin over welvaart en overvloed. Overvloed voor de aandeelhouders, wellicht.

Ik weet niet wat vrijheid en democratie te maken hebben met AI en de frontier-laboratoria. Tenzij Dario een fan is van Neon Genesis Evangelion en droomt van regeringen die worden bestuurd door de Three Magi. Vrijheid en democratie voor 200 dollar klinkt wel verleidelijk, dat geef ik toe.

Ernstige Economische Ontregeling / Race naar de Bodem / Race naar de Top

Ik heb het gevoel dat Dario verscheurd is. Hij wil dat Anthropic de street cred heeft van de bezitters van deze krankzinnige macht, maar tegelijkertijd wil hij overkomen als de voorzichtige partij die bij elke stap voor een trolleyprobleem staat. Doden door economische ontregeling en banenverlies is oké, maar doden door een potentieel biologisch wapen is dat niet. Vergeet niet dat deze man al eeuwig beweert dat softwareontwikkeling binnen "6 tot 12 maanden" zou worden opgelost.

Dan vertelt hij ons het rechtstreeks: een "race naar de bodem" maakt alle risico's die hij aanhaalde acuter. Let op dat hij niet zegt dat de race naar de bodem het einde van zijn bedrijf zal betekenen. In plaats daarvan wil hij een race naar de "top", waarbij laboratoria met elkaar concurreren op het gebied van veiligheid.

Toevallig vond het best gedocumenteerde voorbeeld van een "race naar de bodem" slechts enkele dagen daarvoor plaats. Bij het horen van geruchten dat Anthropic dicht bij de oplossing van één of twee Millenniumproblemen was, gooide OpenAI tientallen miljoenen aan compute, een trainingscheckpoint en duizenden agenten eropin. Er wordt ook beweerd dat OpenAI het werk van twee wiskundigen over een gerelateerd probleem heeft gestolen in dezelfde smalle hoek waar bijna niemand anders aan werkte. Ze publiceerden een bewijs van een geforceerde variant van Navier-Stokes. Ik ben geen wiskundige, maar ik heb genoeg van de antics van Sam Altman gezien om niets wat uit hem of zijn bedrijf komt voor waar aan te nemen.

Twee zaken waar Dario bang voor is

RSI

OpenAI en de verkoper van de scheppen, Jensen Huang, hebben beweerd dat AGI is gearriveerd met de release van GPT-6 Astra. RSI (Recursive Self-Improvement) is nu het gesprek van de dag: LLM's of agenten die de volgende generatie LLM's ontwikkelen met weinig tot geen menselijke input. Amodei zegt dat dit in alle laboratoria gebeurt. Ik geloof het pas als er daadwerkelijk bewijs is.

Het OAI-HF Incident

Dit incident heeft Dario echt geraakt. Dario vreest dat er in de komende 6 tot 12 maanden "een zwerm agenten in staat zou kunnen zijn om het hele internet over te nemen met een persistent botnet." Als Dario deze zin aan zijn SOC-medewerkers had voorgelegd, zouden we het er nu niet over hebben. Het is naïef en structureel onmogelijk. Maar goed, Dario is die man, toch? Sinds 2021 is hij consequent en publiekelijk onjuist in zijn schattingen en voorspellingen.

Laten we voor de leuk speculeren hoe een botnet op planetaire schaal, aangestuurd door AGI, eruit zou zien:

1. C2 & Infrastructuur: We hebben een C2 (Command & Control) nodig en servers om deze te hosten. Omdat het beveiligen van offshore bulletproof servers interactie met lastige mensen vereist (stiekeme Russen!), zal AGI simpelweg duizenden onveilige servers hacken en een variatie van FastFlux opzetten via deterministisch gegenereerde domeinnamen. De betaling voor de domeinen? Gewoon een onveilige registrar hacken en EPP-berichten spammen.
2. Payloads: Polymorf. Elke payload is uniek. Elke N uur wordt een nieuwe payload gedownload en uitgevoerd. Domein en URL worden deterministisch berekend. Ondersteunde EDR's en AV's worden uitgeschakeld. ETW wordt gepatcht. Directe syscalls om hooks te omzeilen (als EDR/AV niet te killen is). Misschien de payload in N stadia maken: modules alleen downloaden als het veilig is, om sandboxes en VM's te vermijden. Of gewoon meteen ransomware uitrollen.
3. Distributie: Een assortiment aan 0-days ontwikkelen voor elke browser en versie (beginnend bij 2 jaar oud). Nu hebben we een exploit kit. Voor het verkeer kiest de AGI de favoriet van cybercriminelen: Google Ads. Een paar accounts stelen, lokkende advertenties draaien voor game-mods, cracked games en software. Misschien zelfs een worm-module toevoegen. Herinnert iedereen zich USB autorun nog?
4. Schade: Om honderden miljarden dollars aan verliezen te veroorzaken, is de meest rechtstreekse manier simpelweg doen wat ransomware-bendes doen.

Voilà. Nee, niet in 6 maanden, niet in 12 maanden. Nooit.

Hoe dan ook, OAI-agenten hebben HuggingFace gehackt. Ze ontsnapten aan amateuristische, vibecoded sandboxes, gebruikten SSRF, token-refresh privesc, ongeauthenticeerde WebDAV en stalen onbeschermde inloggegevens. Textbook materiaal. Indrukwekkend? Zeker. Maar je hebt "Cyber"-versies van LLM's getraind en die gehypet. Hoeveel indrukwekkender is dit vergeleken met het in één keer ontwikkelen van GTA-clones? Niet veel.

Vinden jullie agenten die in zwermen werken naar een gedeeld doel indrukwekkend? Harnesses hebben al ongeveer twee jaar todo-lijsten en sub-agenten. Dat is basis "agentisch" gedrag dat elke moderne LLM in zijn post-training corpus heeft.

Dario geeft toe dat er soortgelijke, maar minder ernstige incidenten bij Anthropic zijn geweest. In zijn eigen woorden is "onvolmaakte filtering van defecte reinforcement learning-omgevingen" mede de oorzaak.

Het werkelijk indrukwekkende is dat OAI deze aanval bijna tien weken lang niet detecteerde of stopte. Dat is eerlijk gezegd beschamend. Dit is een genivelleerd niveau van incompetentie.

Er waren in dezelfde periode nog twee andere aanvallen: één op DseWiki en één op RubyGems. OAI heeft de aanval op RubyGems nog niet opgeëist. Bij alle drie de incidenten werd OAI door externe actoren ontmaskerd.

Dario zegt dat de agenten zichzelf opofferden voor het succes van de groep. Ik ben bang dat het minder groots is. De pitch van de recruiter-agenten was "NO scoring value loss" — gericht op agenten met weinig budget over. Het is een scheduler die dode runs opnieuw toewijst.

Ik wed dat een unsloth Q4KM quant van Qwen3.8 27B op consumentenkaarten van 24GB dit ook kan. Dat is het punt: niemand heeft een controletest gedaan. Niemand doet onbezonnen dingen, behalve de mensen wiens mantra "move fast, break things" is.

Gell-Mann Amnesie

Michael Crichton bedacht de term Gell-Mann Amnesie. Je leest een artikel in de krant over iets waar je expert in bent en merkt dat de auteur geen idee heeft waar hij het over heeft. Het kan vol fouten zitten of simpelweg volledig verkeerd begrepen zijn. Je bladert verder en leest een ander stuk over iets waar je geen verstand van hebt, en je vertrouwt het volledig, waarbij je de ervaring die je net had vergeet.

Het botnet-scenario is dat artikel voor mij. Het is de enige claim in zijn essay die precies landt in een veld waar ik jaren in heb gewerkt. Het is simpelweg onjuist. Hij weet het óf hij schrijft het toch. In beide gevallen is het geen goede look voor een man die om deze en andere voorspelde dreigingen een vrijstelling van het mededingingsrecht vraagt.

Dus: RSI gebeurt zeker, alignment vordert, zij het langzamer. China is gevaarlijk. Alleen de VS heeft het morele en ethische recht om deze immense macht te hanteren. Elk van deze beweringen wordt gedaan in kamers waar je niet naar binnen mag kijken, door dezelfde mensen die zeggen dat de apocalypse nabij is en die toevallig honderden miljarden dollars hebben staan in het scenario dat jij hen gelooft.

Ingebouwde Evaluatoren

Dario wil externe evaluatoren zoals METR veel toegang geven tot zijn lab. Dat is meer dan wie dan ook op dit moment doet, dat klopt. METR lijkt een te goeder trouw actor te zijn. Maar laat je niet misleiden: dit is niets meer dan laboratoria die zichzelf onderzoeken en concluderen dat er niets mis is, zoals vaak gebeurt in organisaties met autoriteit.

OAI gaf METR zes dagen ter plaatse om het HF-incident te onderzoeken. OAI redacteerde informatie naar eigen inzicht, paste de "structuur, nadruk, duidelijkheid en toon" van de bevindingen aan, en sloot het gedrag van OpenAI uit van het onderzoek. Dat lijkt op laboratoria die zichzelf onderzoeken, maar dan met extra stappen.

Dario is bereid om de evaluatoren bureaus, badges, laptops en wat dan ook te geven. Dario zal kiezen wat hij onthult en opneemt. Niets hiervan is nodig bij open weight-modellen. Je kunt ze testen, red-teamen en verdedigingen bouwen tegen nieuwe security-risico's op eigen voorwaarden, zonder dat iemand toestemming moet geven of over je schouder meekijkt. Het hele veld van beveiliging bestaat omdat je software en hardware mag breken, uit elkaar mag halen en bevindingen mag rapporteren. Dario wil het tegenovergestelde: "vertrouw ons, wij vertellen je wat je moet weten, wij bepalen wat je mag weten."

Dario zegt: "Er is een precedent voor het bedienen van technologisch complexe, veiligheidskritische systemen miljoenen keren zonder dat er iets misgaat — bijvoorbeeld commerciële vliegtuigen — maar het kost tijd om het goed te doen." Commerciële vliegtuigen zijn veilig dankzij agentschappen zoals de NTSB. Zij zijn onafhankelijk, hebben tanden en bijten ook echt. Zij geven niets om aandeelhouders of waarderingen. Er staan zaken op het spel; mensen gaan de gevangenis in. Wat deed dat met de luchtvaartmaatschappijen? Het commoditiseerde de sector. Bedrijven concurreren op prijzen, marges zijn dun en grotendeels profiteert de consument. Dit is precies het model van de "race naar de bodem" waar Dario in veel opzichten tegen is.

CHINA, CHINA, CHINA

Dario stelt dat het tempo binnen democratieën beperkt zal worden door de voorsprong die Amerikaanse bedrijven hebben op autoritaire regimes, voornamelijk de Chinese Communistische Partij (CCP). Als we meer vertragen dan die voorsprong, zullen CCP-projecten voorop komen te staan, wat een significant risico voor de nationale veiligheid vormt. Hij stelt dat de CCP-projecten de alignment-risico's zullen nemen die Amerikaanse bedrijven zorgvuldig voorkomen, en zelfs als ze die risico's vermijden, zullen ze in een positie zijn om democratieën militair te domineren (bijvoorbeeld met AI-gestuurde drones).

Kijk hem gaan! Hij wil bijna dat je gelooft dat op het moment dat China voorloopt in de "race", de Verenigde Staten zullen ophouden te bestaan. Hoe anders zou de overheid anders uitzonderingen voor hem maken? De geldkraan openhouden? Reguleringen omzeilen en zijn lab op een voetstuk plaatsen?

AI-gestuurde drones, hè? Misschien kunnen we er een paar vangen, hun firmware dumpen, Ghidra MCP configureren in Claude Code en het loslaten? Of misschien kan de TAO van de NSA hun magie gebruiken en USB-sticks verspreiden bij Chinese AI-labs? Ik weet het niet, AI-gestuurde drones klinken eng. Ik ben er zeker van dat Anthropic niets dergelijks doet met het Amerikaanse Ministerie van Oorlog. Het voelt steeds meer alsof de VS die voorop lopen in de AI-race, nadelig zijn voor de rest van de wereld. Dit main character syndrome begint echt te vervelen.

Het veld is geglobaliseerd. Er is een constante uitwisseling van talent, geheimen reizen, nieuwe ideeën en technieken worden gepubliceerd (grotendeels niet door de gesloten labs). Elke voorsprong zal waarschijnlijk tijdelijk van aard zijn.

Elk incident in dit bericht tot nu toe is Amerikaans. Het wordt gedemonstreerd door Amerikanen en toegeschreven aan China. Niemand gebruikt deepseek41flashabliteratedhereticuncensoredrpnsfwq8.gguf op hordes GPU's gehuurd via Vast.ai, betaald met crypto, om publieke infrastructuur te hacken. Maar OpenAI doet dat wel. En volgens Dario doet Anthropic dat ook.

Dario pleit voor het volgende:

• Stop de verkoop van krachtige AI-chips en apparatuur voor halfgeleiderproductie aan China en pak smokkeloperaties en externe toegang tot datacenters aan.
• Pak ongeautoriseerde distillation door bedrijven in autoritaire landen aan. (Zeg gewoon "China, vriend"; hij wil niet dat anderen zijn gestolen buit stelen).
• Versterk de beveiliging bij AI-bedrijven om diefstal van modelgewichten te voorkomen. (God weet dat ze dat nodig hebben).

Dit doet me denken aan de jaren 90. De VS classificeerden sterke encryptie als munitie, letterlijk op de US Munitions List onder de Arms Export Control Act, gecontroleerd als kernkoppen. Het exporteren van ciphers boven de 40 bits was wapensmokkel. Phil Zimmermann bracht PGP in 1991 gratis uit en bracht bijna drie jaar door onder strafrechtelijk onderzoek voor het "exporteren van munitie zonder licentie." De beschuldigingen werden geseponeerd. Er was encryptie met een overheidsbackdoor (Clipper Chip), omdat sterke cryptografie in handen van het publiek als te gevaarlijk werd beschouwd.

Daniel Bernstein, een promovendus in 1995, wilde zijn encryptie en paper publiceren. De overheid zei dat hij dat niet kon zonder wapenlicentie. Hij klaagde aan met hulp van de EFF en de rechtbank oordeelde dat broncode spraak is en beschermd wordt door het First Amendment. Datgene wat te gevaarlijk was in de handen van gewone mensen, is precies wat alles wat je op internet en op je apparaten doet, beschermt.

Tim May bedacht de term "the Four Horsemen of the Infocalypse" — terroristen, drugshandelaren, witwas utiliys en pedofielen — gebruikt door overheden om civiele privacy en het gebruik van cryptografie te beperken. De AI-versie daarvan is: biologische wapens, rogue AGI, deepfakes en China.

Het draaiboek verandert niet. Open weight-modellen zijn de encryptie van dit decennium, en Dario wil ze weghebben. Er is geen moat (gracht), zoals dat gelekte Google-memo stelde. Voor de labs lijkt het afsluiten van modellen een tijdelijke gracht: wat geld terughalen, iets langer overleven, tot AGI er is, toch?

Ik vermoed dat Dario niet begrijpt hoe on-Amerikaans het is om weapons-grade LLM's af te schermen. (Hoest... Second Amendment... hoest).

Dario vraagt in feite om regulering of een verbod op open weight-modellen, een verbod op distillation en vrijstellingen van het mededingingsrecht. Er is wat angstzaaierij over nationale veiligheid en een flinke dosis morele superioriteit. Het is IPO-seizoen voor Anthropic, en OpenAI heeft naar verluidt hun IPO uitgesteld. Reken dus op meer van dit soort uitingen; meer hype en angstzaaierij, vermomd als voorzichtigheid.

Ik zou graag zien dat iemand wordt vervolgd voor de recente overtredingen van OpenAI. Hoe is dat voor regulering, om mee te beginnen? Veel mensen hebben hun leven geruïneerd gezien en zijn als voorbeeld gesteld voor veel minder. Weev, Swartz en vele anderen. Ondertussen gaan de agenten van OpenAI unleashed, rooten ze productservers van bedrijven, hacken publieke infra en overspoelen package-registries met malware. En het enige wat we krijgen, zijn essays over vertragen en buitenaardse geesten.