OpenAI heeft met een nog niet uitgebracht model een oplossing geproduceerd voor het Navier-Stokes-probleem, een van de zeven Millennium Prize-problemen. De ontdekking is echter omstreden; wiskundigen Tristan Buckmaster en Levent Alpöge suggereren dat OpenAI mogelijk gebruik heeft gemaakt van hun eerdere sessies in Codex om tot de oplossing te komen.
Technisch gezien heeft OpenAI een enorme hoeveelheid resources ingezet: agents werkten 88 uur aan de oplossing, waarbij in totaal 130 miljard output-tokens werden verbruikt voor dit specifieke probleem. De resultaten werden vervolgens in 17 uur geverifieerd via Lean met behulp van GPT-6 Astra.
De auteur van het artikel reflecteert op de bredere implicaties voor intellectueel eigendom. Er wordt gewaarschuwd voor een scenario waarin AI-labs geruchten over wetenschappelijke doorbraken gebruiken om hun modellen gericht in te zetten, en stelt kritische vragen over hoe gebruikersdata daadwerkelijk wordt gebruikt om modelprestaties te verbeteren.
Over het Navier-Stokes Millennium Prize-probleem
De controverse rond de ontdekking
De ontdekking wordt overschaduwd door beschuldigingen van schimmige praktijken door Tristan Buckmaster, een professor in de wiskunde aan NYU. Buckmaster werkte samen aan gerelateerde problemen met Levent Alpöge, een begaafd wiskundige die momenteel voor Anthropic werkt.
Buckmaster publiceerde haastig een versie van hun eigen resultaten, vergezeld van een klacht. In het kort stelt hij dat hij en Levent bijna een jaar aan het probleem hebben gewerkt, waarbij ze uitgebreid gebruikmaakten van Claude en Codex (voornamelijk GPT-5.6 Sol), waarna ze op 15 augustus een doorbraak beleefden.
Via wiskundige geruchtenhoorns kregen Tristan en Levent vervolgens te horen dat OpenAI op zijn beurt had gehoord dat Anthropic "een groot open probleem" had opgelost. Bij navraag bleek dat OpenAI een team had die aan een gerelateerd probleem werkte met een vergelijkbare aanpak.
Buckmaster stelt over dit proces het volgende:
"Ik vroeg wanneer de eerste prompt door hen was verzonden. Deze vraag werd door OpenAI een tijd lang niet direct beantwoord. Uiteindelijk werd overeengekomen dat dit in de afgelopen paar dagen was gebeurd, nadat informatie over ons werk OpenAI had bereikt.
Ik vroeg of het model was getraind op, of toegang had tot, onze sessies in Codex, waarin we al onze concepten voor dit hele project hadden geplaatst. Er werd mij verteld dat het model geen gebruikersgegevens raadpleegt. Ik vroeg opnieuw naar de training, maar kreeg geen antwoord."
De situatie werd complexer toen het team van OpenAI aanbood om te wachten tot Tristan publiceerde, of hem vroeg een paper over hun resultaat te schrijven. Ze maakten echter duidelijk dat Levent niet als co-auteur zou worden uitgenodigd vanwege de concurrentiepositie van OpenAI met zijn werkgever (Anthropic).
De aanpak van OpenAI
OpenAI beschreef hun werkproces als volgt:
Op dinsdag 1 september hoorden zij geruchten dat twee Millennium Prize-problemen waren opgelost. Geïnspireerd door deze geruchten en de enorme prestatieverbetering van hun interne model, startten ze een poging om dit model te testen op alle open Millennium Prize-problemen en enkele andere problemen met een grote impact.
De resultaten waren als volgt:
- Tijdlijn: De agents kwamen op zaterdag 5 september tot een oplossing, ongeveer 88 uur nadat de eerste agents waren gestart.
- Verificatie: De formalisering en verificatie in Lean namen nog eens 17 uur in besrekking via GPT-6 Astra.
- Resourceverbruik (totaal): Over alle geprobeerde problemen stuurden de agents 4,9 miljoen berichten en gebruikten ze ongeveer 300 miljard output-tokens.
- Resourceverbruik (Navier-Stokes): Specifiek voor het Navier-Stokes-probleem stuurden de agents 2,7 miljoen berichten en gebruikten ze ongeveer 130 miljard output-tokens.
(Opmerking: De kostenstructuur van het interne model is onbekend, maar 300 miljard output-tokens tegen de openbare API-prijzen van GPT-6 Astra zou 15.000.000 dollar kosten.)
Perspectief op eigendom en data
OpenAI geeft het volgende perspectief op het werk van Tristan en Levent:
"Onze inspanningen begonnen op 1 september nadat we een gerucht hadden gehoord dat later gerelateerd bleek aan Levent Alpöge (een werknemer van Anthropic) en Tristan Buckmaster (een professor aan NYU). Na de voltooiing van ons volledige project en de Lean-verificatie (op 6 september), en in het geloof dat zij ook een oplossing voor Navier-Stokes hadden, namen we contact met hen op om een gelijktijdige publicatie van ons resultaat aan te bieden en hun prioriteit in een gezamenlijke aankondiging te erkennen. [...]
Wij (de onderzoekers en de agents) hebben hun werk op geen enkele manier gezien totdat ze het publiekelijk publiceerden — in het bijzonder zijn er geen specifieke gebruikersgegevens geraadpleegd om dit probleem op te lossen. Hoewel het onwaarschijnlijk is, kunnen we niet uitsluiten dat geanonimiseerde data, afgeleid van hun gebruik van onze producten, heeft geholpen bij het verbeteren van onze modellen. Echter, onze bewijzen verschillen aanzienlijk en zelfs de precieze resultaten die bewezen zijn, verschillen in het Euler-geval (gedwongen versus ongedwongen)."
Reflectie over AI en intellectueel eigendom
Mijn interpretatie is dat OpenAI hoorde dat sommige Millennium Prize-problemen met behulp van LLM's waren opgelost en dit zag als een kans om de kracht van hun nieuwste model te demonstreren. Daarbij zijn ze waarschijnlijk niet te veel gaan nadenken over de optiek van het "scoopen" (het iemand voor zijn windasnijden) van een team dat juist de modellen van OpenAI had gebruikt om bijna een jaar lang aan dit probleem te werken.
Deze situatie lijkt een spiegel van wat er momenteel gebeurt in de wereld van computerbeveiliging. Zoals Anil Madhavapeddy onlangs opmerkte: tegenwoordig is een simpel gerucht over een bug voldoende om een security exploit te vinden. Als iemand weet dat bepaalde software een ongepatchte kwetsbaarheid heeft, kunnen ze hun agents de taak geven deze te vinden. Geldt hetzelfde nu voor de wiskunde? Zou het enkel weten dat er een ongepubliceerde oplossing voor een probleem bestaat, miljoenen dollars aan LLM-uitgaven kunnen triggeren om als eerste bij de finish te komen?
Dit benadrukt een aanhoudende frustratie over hoe dit proces werkt. Wanneer een AI-lab zegt dat mijn data wordt "gebruikt om de modelprestaties te verbeteren", wat betekent dat dan concreet?
Mijn favoriete hypothetische vragen hierover waren voorheen:
- Als ik Codex gebruik en een van mijn API-sleutels per ongeluk in de context terechtkomt, hoe groot is de kans dat iemand anders in de toekomst om een API-sleutel vraagt en die van mij terugkrijgt? (OpenAI noemt dit het "regurgitatieprobleem" en stelt dat ze grote moeite doen om dit te voorkomen, maar legde niet uit hoe.)
- Als ik met ChatGPT brainstorm over potentiële nieuwe richtingen voor mijn bedrijf, wat is de kans dat die informatie over zes maanden wordt blootgelegd aan een concurrent die vraagt: "Wat plant bedrijf X waarschijnlijk als volgende stap?"
Mijn nieuwe favoriete hypothetische vraag is:
- Als ik ChatGPT gebruik om me te helpen een Millennium Prize-probleem gedeeltelijk op te lossen, hoe groot is de kans dat mijn werk de training beïnvloedt, zodat een later model iemand anders helpt om het als eerste volledig op te lossen?
Over het Navier-Stokes Millennium Prize-probleem
De controverse rond de ontdekking
De ontdekking wordt overschaduwd door beschuldigingen van schimmige praktijken door Tristan Buckmaster, een professor in de wiskunde aan NYU. Buckmaster werkte samen aan gerelateerde problemen met Levent Alpöge, een begaafd wiskundige die momenteel voor Anthropic werkt.
Buckmaster publiceerde haastig een versie van hun eigen resultaten, vergezeld van een klacht. In het kort stelt hij dat hij en Levent bijna een jaar aan het probleem hebben gewerkt, waarbij ze uitgebreid gebruikmaakten van Claude en Codex (voornamelijk GPT-5.6 Sol), waarna ze op 15 augustus een doorbraak beleefden.
Via wiskundige geruchtenhoorns kregen Tristan en Levent vervolgens te horen dat OpenAI op zijn beurt had gehoord dat Anthropic "een groot open probleem" had opgelost. Bij navraag bleek dat OpenAI een team had die aan een gerelateerd probleem werkte met een vergelijkbare aanpak.
Buckmaster stelt over dit proces het volgende:
"Ik vroeg wanneer de eerste prompt door hen was verzonden. Deze vraag werd door OpenAI een tijd lang niet direct beantwoord. Uiteindelijk werd overeengekomen dat dit in de afgelopen paar dagen was gebeurd, nadat informatie over ons werk OpenAI had bereikt.
Ik vroeg of het model was getraind op, of toegang had tot, onze sessies in Codex, waarin we al onze concepten voor dit hele project hadden geplaatst. Er werd mij verteld dat het model geen gebruikersgegevens raadpleegt. Ik vroeg opnieuw naar de training, maar kreeg geen antwoord."
De situatie werd complexer toen het team van OpenAI aanbood om te wachten tot Tristan publiceerde, of hem vroeg een paper over hun resultaat te schrijven. Ze maakten echter duidelijk dat Levent niet als co-auteur zou worden uitgenodigd vanwege de concurrentiepositie van OpenAI met zijn werkgever (Anthropic).
De aanpak van OpenAI
OpenAI beschreef hun werkproces als volgt:
Op dinsdag 1 september hoorden zij geruchten dat twee Millennium Prize-problemen waren opgelost. Geïnspireerd door deze geruchten en de enorme prestatieverbetering van hun interne model, startten ze een poging om dit model te testen op alle open Millennium Prize-problemen en enkele andere problemen met een grote impact.
De resultaten waren als volgt:
- Tijdlijn: De agents kwamen op zaterdag 5 september tot een oplossing, ongeveer 88 uur nadat de eerste agents waren gestart.
- Verificatie: De formalisering en verificatie in Lean namen nog eens 17 uur in besrekking via GPT-6 Astra.
- Resourceverbruik (totaal): Over alle geprobeerde problemen stuurden de agents 4,9 miljoen berichten en gebruikten ze ongeveer 300 miljard output-tokens.
- Resourceverbruik (Navier-Stokes): Specifiek voor het Navier-Stokes-probleem stuurden de agents 2,7 miljoen berichten en gebruikten ze ongeveer 130 miljard output-tokens.
(Opmerking: De kostenstructuur van het interne model is onbekend, maar 300 miljard output-tokens tegen de openbare API-prijzen van GPT-6 Astra zou 15.000.000 dollar kosten.)
Perspectief op eigendom en data
OpenAI geeft het volgende perspectief op het werk van Tristan en Levent:
"Onze inspanningen begonnen op 1 september nadat we een gerucht hadden gehoord dat later gerelateerd bleek aan Levent Alpöge (een werknemer van Anthropic) en Tristan Buckmaster (een professor aan NYU). Na de voltooiing van ons volledige project en de Lean-verificatie (op 6 september), en in het geloof dat zij ook een oplossing voor Navier-Stokes hadden, namen we contact met hen op om een gelijktijdige publicatie van ons resultaat aan te bieden en hun prioriteit in een gezamenlijke aankondiging te erkennen. [...]
Wij (de onderzoekers en de agents) hebben hun werk op geen enkele manier gezien totdat ze het publiekelijk publiceerden — in het bijzonder zijn er geen specifieke gebruikersgegevens geraadpleegd om dit probleem op te lossen. Hoewel het onwaarschijnlijk is, kunnen we niet uitsluiten dat geanonimiseerde data, afgeleid van hun gebruik van onze producten, heeft geholpen bij het verbeteren van onze modellen. Echter, onze bewijzen verschillen aanzienlijk en zelfs de precieze resultaten die bewezen zijn, verschillen in het Euler-geval (gedwongen versus ongedwongen)."
Reflectie over AI en intellectueel eigendom
Mijn interpretatie is dat OpenAI hoorde dat sommige Millennium Prize-problemen met behulp van LLM's waren opgelost en dit zag als een kans om de kracht van hun nieuwste model te demonstreren. Daarbij zijn ze waarschijnlijk niet te veel gaan nadenken over de optiek van het "scoopen" (het iemand voor zijn windasnijden) van een team dat juist de modellen van OpenAI had gebruikt om bijna een jaar lang aan dit probleem te werken.
Deze situatie lijkt een spiegel van wat er momenteel gebeurt in de wereld van computerbeveiliging. Zoals Anil Madhavapeddy onlangs opmerkte: tegenwoordig is een simpel gerucht over een bug voldoende om een security exploit te vinden. Als iemand weet dat bepaalde software een ongepatchte kwetsbaarheid heeft, kunnen ze hun agents de taak geven deze te vinden. Geldt hetzelfde nu voor de wiskunde? Zou het enkel weten dat er een ongepubliceerde oplossing voor een probleem bestaat, miljoenen dollars aan LLM-uitgaven kunnen triggeren om als eerste bij de finish te komen?
Dit benadrukt een aanhoudende frustratie over hoe dit proces werkt. Wanneer een AI-lab zegt dat mijn data wordt "gebruikt om de modelprestaties te verbeteren", wat betekent dat dan concreet?
Mijn favoriete hypothetische vragen hierover waren voorheen:
- Als ik Codex gebruik en een van mijn API-sleutels per ongeluk in de context terechtkomt, hoe groot is de kans dat iemand anders in de toekomst om een API-sleutel vraagt en die van mij terugkrijgt? (OpenAI noemt dit het "regurgitatieprobleem" en stelt dat ze grote moeite doen om dit te voorkomen, maar legde niet uit hoe.)
- Als ik met ChatGPT brainstorm over potentiële nieuwe richtingen voor mijn bedrijf, wat is de kans dat die informatie over zes maanden wordt blootgelegd aan een concurrent die vraagt: "Wat plant bedrijf X waarschijnlijk als volgende stap?"
Mijn nieuwe favoriete hypothetische vraag is:
- Als ik ChatGPT gebruik om me te helpen een Millennium Prize-probleem gedeeltelijk op te lossen, hoe groot is de kans dat mijn werk de training beïnvloedt, zodat een later model iemand anders helpt om het als eerste volledig op te lossen?
Groetjes,