OpenAI heeft in samenwerking met Broadcom "Jalapeño" ontwikkeld, een gegeneraliseerde inference-chip specifiek ontworpen voor Large Language Models (LLM's). De chip blinkt uit in energie-efficiëntie (performance per watt) en verslaat in diverse benchmarks de Blackwell-chips van Nvidia, mede door een nauwe integratie tussen hardware en software.
Technische specificaties en architectuur:
- Hardware: De chip is gebouwd op het TSMC N3P-proces, maakt gebruik van HBM4-geheugen met een bandbreedte van 15,4 TB/s en heeft een TDP van 700W.
- Ontwerp: OpenAI heeft gekozen voor een homogene architectuur waarbij prefill en decode op dezelfde chips plaatsvinden. Dit voorkomt inefficiëntie bij variabele workloads en vermindert latentie door het vermijden van netwerktransport van KV-caches.
- Systeem: De infrastructuur is opgedeeld in Katsu (host racks), Vindaloo (ASIC racks) en Chana (switch trays), waardoor tot 2.048 XPUs kunnen worden verbonden.
Software en ecosysteem: OpenAI gebruikt de eigen programmeertaal Gluon (gebaseerd op Triton) en de serving-engine Teacup. Door kernels handmatig te optimaliseren met behulp van AI (Codex), verkleint OpenAI de afhankelijkheid van het CUDA-ecosysteem van Nvidia.
Het uiteindelijke doel is om de capaciteit op te schalen naar 100 MW, waarbij de focus nu verschuift van softwareontwikkeling naar productievolumes en datacenter-implementatie.
OpenAI Jalapeño: Beter dan Nvidia Blackwell
In juni onthulde OpenAI het chipprogramma in partnerschap met Broadcom. De chip is vanaf nul opgebouwd, specifiek voor LLM-inference. Het ontwerp- en productieproces was extreem snel: van het aannemen van het team tot de uiteindelijke tape-out duurde ongeveer 16 maanden.
Hoewel eerste generatie chips meestal niet competitief zijn, doorbreekt OpenAI deze trend. De chip verslaat in diverse tests op open source-modellen alle geteste chips van Nvidia, AMD en Google. Dit resultaat is behaald door extreme hardware-software codesign. Opvallend is dat OpenAI niet heeft gekozen voor overspecialisatie op één specifiek onderdeel van model-inference, maar juist voor een algemene chip die hoge prestaties levert in alle scenario's.
Een gegeneraliseerde inference-chip
In tegenstelling tot wat vaak wordt gedacht, is Jalapeño geen chip die alleen geoptimaliseerd is voor OpenAI-modellen; het is een gegeneraliseerde chip voor AI-inference. De snelheid waarmee dit is ontwikkeld, suggereert dat AI zelf is ingezet om het chipontwerp te versnellen.
De specificaties maken de chip direct tot een serieuze concurrent. Vooral het gebruik van HBM4 zorgt ervoor dat Jalapeño vergelijkbaar is met de vlaggenschepen van NVIDIA en AMD. Jalapeño is in staat om diverse modellen en workloads te draaien, waaronder de InferenceX-benchmark. Ter illustratie toonde OpenAI zelfs een demo waarin het spel Doom draaide op de chip, geporteerd via Codex-prompts.
Prestaties per watt (perf/W)
Bij het bekijken van de token throughput per MW (megawatt) presteert Jalapeño significant beter dan andere chips. Dit is bereikt zonder gebruik te maken van Multi Token Prediction (MTP), terwijl de concurrenten op de grafieken hun best presterende configuraties mét MTP gebruiken.
Jalapeño verslaat Blackwell op perf/W in bijna alle scenario's, zonder dat de chip voor een specifiek punt in de curve is afgesteld. De chip blinkt uit in zowel scenario's met lage latentie als scenario's met een hoge doorvoer. Bij lage concurrency (gelijktijdigheid) vertoont Jalapeño een opmerkelijke interactiviteit: bij een concurrency van 1 op het DeepSeek R1-model wordt een snelheid van meer dan 700 tokens per seconde per gebruiker behaald.
Dit wordt alles bereikt met single-token prediction (STP), zonder speculatieve decoding en zonder prefill-decode disaggregation. Andere geteste modellen, zoals Kimi-K2.5 en GPT-OSS, bereikten ongeveer 1.400 tok/sec/user. De GSM8k-evaluaties van Jalapeño waren gelijkwaardig aan die van Nvidia-chips.
Kanttekeningen bij de resultaten:
- De cijfers zijn verstrekt door OpenAI. Hoewel de InferenceX-runs in het lab zijn geverifieerd, is de volledige suite en de AgentX-resultaten nog niet gezien. AgentX is cruciaal omdat het langere contexten en multi-turn interacties test, wat meer druk legt op componenten zoals routers en cache-beheer.
- De vergelijking met Blackwell is mogelijk onvolledig; Jalapeño concurreert eigenlijk met chips zoals Rubin die ook HBM4 gebruiken. Rubin-systemen worden nu geleverd, terwijl Jalapeño zich nog in de fase van engineering samples bevindt.
- De geteste modellen behoren niet tot de absolute top van de huidige frontier-modellen. Grotere modellen zijn complexer om op nieuwe chips te implementeren.
Prestatieanalyse
OpenAI ontwerpt primair voor perf/W. De reden is simpel: OpenAI wordt momenteel beperkt door de beschikbare stroom in datacenters, niet door budget of vloeroppervlak. Tokens per MW zijn daarom van cruciaal belang.
Datacenters hebben te maken met strikte beperkingen wat betreft stroomvoorziening, koeling en netwerkinfrastructuur. Vertragingen in het elektriciteitsnet leiden tot de noodzaak voor Behind-the-Meter (BtM) capaciteit, zoals gasturbines en generatoren op locatie, om niet afhankelijk te zijn van publieke netwerkupgrades.
Efficiëntie en TCO
In termen van tokens per joule (energie-efficiëntie) wint Jalapeño, zelfs vergeleken met Rubin. De STP-output throughput per MW overtreft de MTP-resultaten van Vera Rubin en de GB200 resultaten uit 2025.
Wat betreft de Total Cost of Ownership (TCO) zijn Vera Rubin en Jalapeño nagenoeg gelijk in termen van output tokens per dollar. Echter, Jalapeño behaalt dit zonder speculatieve decoding, terwijl Rubin dit wel gebruikt. Speculatieve decoding kan de kosten per token met 3 tot 5 keer verlagen. Wanneer dit wordt geïmplementeerd op Jalapeño, zal de kostenefficiëntie verder stijgen.
Architectuur en Specificaties
OpenAI heeft ervoor gekozen om prefill en decode (PD) niet te scheiden over verschillende chip-pools. De draft model en het hoofdmodel delen dezelfde chips en fabric. Deze homogene architectuur voorkomt inefficiënties die ontstaan wanneer de workload-mix (bijvoorbeeld de ratio tussen input, cache en output tokens) in de loop van de tijd verandert.
Technische details (B0 Stepping)
De huidige A0-versie is slechts 9 maanden oud, maar er is al een B0-versie in productie. De B0-versie biedt een verbetering van circa 25% in prestaties per watt.
- Compute: 13,4 PFLOPs van MXFP4 op een enkele reticle-sized compute die (TSMC N3P).
- TDP: 700W (ter vergelijking: Rubin zit tussen 900W en 1.150W).
- Geheugen: HBM4 met een bandbreedte van 15,4 TB/s per package. Dit overtreft alle huidige accelerators die HBM3E gebruiken. De HBM wordt waarschijnlijk geleverd door Samsung.
- I/O: Een N3E I/O-chiplet met 32 lanes van 800G SerDes voor de compute fabric. PCIe Gen 5 wordt gebruikt voor de verbinding met de x86 host CPU.
Hardware-architectuur
De matrix-engine van de chip gebruikt MXFP-numerieke formaten en een weight stationary systolic array, vergelijkbaar met de TPU. In tegenstelling tot de TPU ondersteunt Jalapeño kleinere vormen en dimensies, waardoor prestatiedips bij onhandig gevormde matrixvermenigvuldigingen worden voorkomen.
Andere architecturale kenmerken:
- Cores: 64-bit scalar cores en FP32/INT32 vector cores.
- Geheugenhiërarchie: De cores en HBM zijn verdeeld in slices. Elke core-slice heeft een lokale weergave van zijn eigen HBM-slice, wat de latentie aanzienlijk verlaagt vergeleken met GPU's.
- OoO Core: OpenAI gebruikt een out-of-order (OoO) core met een L1-cache. Dit wijkt af van de software-managed scratchpads die in veel andere accelerators worden gebruikt, maar het helpt om vaste overheads zoals barrier latencies te vermijden.
Software
OpenAI schrijft Jalapeño-kernels bijna als assembly. Elke kernel wordt handmatig geoptimaliseerd. Dit proces is inmiddels grotendeels geautomatiseerd met een interne, uitgebreide versie van Codex. De interne serving-engine heet "Teacup".
Gluon en Linear Layouts
De chip wordt geprogrammeerd met Gluon, de eigen kernel-programmeertaal van OpenAI. Gluon is gebouwd op Triton en behoudt het SPMD-model (Single Program Multiple Data), maar biedt laagstroom-abstracties.
Een uniek onderdeel van Gluon zijn de Linear Layouts. Dit is een wiskundige formalisering van de mapping tussen hardware-resources (bijv. een register) en tensor-elementen. Dit maakt bewijsbaar correcte layout-conversies en optimale memory swizzling mogelijk.
De "CUDA Moat"
De snelheid waarmee OpenAI nieuwe modellen op hun eigen silicon kan draaien, suggereert dat de "CUDA-gracht" (de concurrentievoorsprong van Nvidia door hun software-ecosysteem) mogelijk aan het verdwijnen is. Het hardware/software co-design stelt een frontier-lab in staat om sneller te itereren dan traditionele fabrikanten van commerciële chips.
De kwestie van Disaggregatie
OpenAI maakt geen gebruik van prefill-decode disaggregation (PDD). Hoewel PDD aantrekkelijk lijkt bij een bevroren workload, is productieverkeer variabel.
Nadelen van disaggregatie volgens OpenAI:
- Onderbezetting: Als de vraag naar prefill laag is, staan de decode-chips stil (en vice versa).
- Verlies van lokaliteit: De prefill-worker produceert een grote KV-cache die naar de decode-worker moet worden verzonden over het netwerk, wat zorgt voor extra bandbreedteverbruik en latentie.
- Speculatieve decoding: Het scheiden van het draft-model en de verifier maakt van een strakke loop een gedistribueerd protocol, wat de tijdswinst van speculatie teniet kan doen.
Door te kiezen voor een fungibele vloot van chips kan OpenAI capaciteit flexibel verschuiven tussen latentie-gevoelige requests en doorvoer-georiënteerde batches.
Systeemarchitectuur en Rack-configuratie
Het Jalapeño-systeem op rack-niveau bestaat uit een CPU-host rack en een ASIC rack.
- Katsu (Host rack): Bevat 16 host-trays. Elke tray heeft twee AMD EPYC CPU's (Turin-klasse) met 1,5 TB DRAM.
- Vindaloo (ASIC rack): Bevat 16 trays met elk 8 Jalapeño ASICs, wat neerkomt op 128 ASICs per rack.
- Chana (Switch trays): Bevat 8 switch-trays (6 lokaal, 2 globaal) die de ASICs verbinden via een koperen backplane.
Netwerk en Schaalbaarheid:
- Lokaal domein: Verbindt 128 XPUs binnen één rack met een uni-directionele bandbreedte van 4,8 Tb/s per XPU.
- Globaal domein: Verbindt tot 16 racks (totaal 2.048 XPUs) via een hybride van koper en optische interconnects (Optical Circuit Switches - OCS). De bandbreedte per XPU is hier 1,6 Tb/s.
- Stroomverbruik: Een volledig systeem (host + ASIC rack) verbruikt ongeveer 160 kW.
De toekomst
De eerste productie-tokens van Jalapeño worden binnenkort gegenereerd. Het volgende doel is een capaciteit van 100 MW. De grootste uitdagingen liggen nu niet meer bij de software, maar bij de hardware: productievolumes, implementatie in datacenters, monitoring en veerkracht.
OpenAI Jalapeño: Beter dan Nvidia Blackwell
In juni onthulde OpenAI het chipprogramma in partnerschap met Broadcom. De chip is vanaf nul opgebouwd, specifiek voor LLM-inference. Het ontwerp- en productieproces was extreem snel: van het aannemen van het team tot de uiteindelijke tape-out duurde ongeveer 16 maanden.
Hoewel eerste generatie chips meestal niet competitief zijn, doorbreekt OpenAI deze trend. De chip verslaat in diverse tests op open source-modellen alle geteste chips van Nvidia, AMD en Google. Dit resultaat is behaald door extreme hardware-software codesign. Opvallend is dat OpenAI niet heeft gekozen voor overspecialisatie op één specifiek onderdeel van model-inference, maar juist voor een algemene chip die hoge prestaties levert in alle scenario's.
Een gegeneraliseerde inference-chip
In tegenstelling tot wat vaak wordt gedacht, is Jalapeño geen chip die alleen geoptimaliseerd is voor OpenAI-modellen; het is een gegeneraliseerde chip voor AI-inference. De snelheid waarmee dit is ontwikkeld, suggereert dat AI zelf is ingezet om het chipontwerp te versnellen.
De specificaties maken de chip direct tot een serieuze concurrent. Vooral het gebruik van HBM4 zorgt ervoor dat Jalapeño vergelijkbaar is met de vlaggenschepen van NVIDIA en AMD. Jalapeño is in staat om diverse modellen en workloads te draaien, waaronder de InferenceX-benchmark. Ter illustratie toonde OpenAI zelfs een demo waarin het spel Doom draaide op de chip, geporteerd via Codex-prompts.
Prestaties per watt (perf/W)
Bij het bekijken van de token throughput per MW (megawatt) presteert Jalapeño significant beter dan andere chips. Dit is bereikt zonder gebruik te maken van Multi Token Prediction (MTP), terwijl de concurrenten op de grafieken hun best presterende configuraties mét MTP gebruiken.
Jalapeño verslaat Blackwell op perf/W in bijna alle scenario's, zonder dat de chip voor een specifiek punt in de curve is afgesteld. De chip blinkt uit in zowel scenario's met lage latentie als scenario's met een hoge doorvoer. Bij lage concurrency (gelijktijdigheid) vertoont Jalapeño een opmerkelijke interactiviteit: bij een concurrency van 1 op het DeepSeek R1-model wordt een snelheid van meer dan 700 tokens per seconde per gebruiker behaald.
Dit wordt alles bereikt met single-token prediction (STP), zonder speculatieve decoding en zonder prefill-decode disaggregation. Andere geteste modellen, zoals Kimi-K2.5 en GPT-OSS, bereikten ongeveer 1.400 tok/sec/user. De GSM8k-evaluaties van Jalapeño waren gelijkwaardig aan die van Nvidia-chips.
Kanttekeningen bij de resultaten:
- De cijfers zijn verstrekt door OpenAI. Hoewel de InferenceX-runs in het lab zijn geverifieerd, is de volledige suite en de AgentX-resultaten nog niet gezien. AgentX is cruciaal omdat het langere contexten en multi-turn interacties test, wat meer druk legt op componenten zoals routers en cache-beheer.
- De vergelijking met Blackwell is mogelijk onvolledig; Jalapeño concurreert eigenlijk met chips zoals Rubin die ook HBM4 gebruiken. Rubin-systemen worden nu geleverd, terwijl Jalapeño zich nog in de fase van engineering samples bevindt.
- De geteste modellen behoren niet tot de absolute top van de huidige frontier-modellen. Grotere modellen zijn complexer om op nieuwe chips te implementeren.
Prestatieanalyse
OpenAI ontwerpt primair voor perf/W. De reden is simpel: OpenAI wordt momenteel beperkt door de beschikbare stroom in datacenters, niet door budget of vloeroppervlak. Tokens per MW zijn daarom van cruciaal belang.
Datacenters hebben te maken met strikte beperkingen wat betreft stroomvoorziening, koeling en netwerkinfrastructuur. Vertragingen in het elektriciteitsnet leiden tot de noodzaak voor Behind-the-Meter (BtM) capaciteit, zoals gasturbines en generatoren op locatie, om niet afhankelijk te zijn van publieke netwerkupgrades.
Efficiëntie en TCO
In termen van tokens per joule (energie-efficiëntie) wint Jalapeño, zelfs vergeleken met Rubin. De STP-output throughput per MW overtreft de MTP-resultaten van Vera Rubin en de GB200 resultaten uit 2025.
Wat betreft de Total Cost of Ownership (TCO) zijn Vera Rubin en Jalapeño nagenoeg gelijk in termen van output tokens per dollar. Echter, Jalapeño behaalt dit zonder speculatieve decoding, terwijl Rubin dit wel gebruikt. Speculatieve decoding kan de kosten per token met 3 tot 5 keer verlagen. Wanneer dit wordt geïmplementeerd op Jalapeño, zal de kostenefficiëntie verder stijgen.
Architectuur en Specificaties
OpenAI heeft ervoor gekozen om prefill en decode (PD) niet te scheiden over verschillende chip-pools. De draft model en het hoofdmodel delen dezelfde chips en fabric. Deze homogene architectuur voorkomt inefficiënties die ontstaan wanneer de workload-mix (bijvoorbeeld de ratio tussen input, cache en output tokens) in de loop van de tijd verandert.
Technische details (B0 Stepping)
De huidige A0-versie is slechts 9 maanden oud, maar er is al een B0-versie in productie. De B0-versie biedt een verbetering van circa 25% in prestaties per watt.
- Compute: 13,4 PFLOPs van MXFP4 op een enkele reticle-sized compute die (TSMC N3P).
- TDP: 700W (ter vergelijking: Rubin zit tussen 900W en 1.150W).
- Geheugen: HBM4 met een bandbreedte van 15,4 TB/s per package. Dit overtreft alle huidige accelerators die HBM3E gebruiken. De HBM wordt waarschijnlijk geleverd door Samsung.
- I/O: Een N3E I/O-chiplet met 32 lanes van 800G SerDes voor de compute fabric. PCIe Gen 5 wordt gebruikt voor de verbinding met de x86 host CPU.
Hardware-architectuur
De matrix-engine van de chip gebruikt MXFP-numerieke formaten en een weight stationary systolic array, vergelijkbaar met de TPU. In tegenstelling tot de TPU ondersteunt Jalapeño kleinere vormen en dimensies, waardoor prestatiedips bij onhandig gevormde matrixvermenigvuldigingen worden voorkomen.
Andere architecturale kenmerken:
- Cores: 64-bit scalar cores en FP32/INT32 vector cores.
- Geheugenhiërarchie: De cores en HBM zijn verdeeld in slices. Elke core-slice heeft een lokale weergave van zijn eigen HBM-slice, wat de latentie aanzienlijk verlaagt vergeleken met GPU's.
- OoO Core: OpenAI gebruikt een out-of-order (OoO) core met een L1-cache. Dit wijkt af van de software-managed scratchpads die in veel andere accelerators worden gebruikt, maar het helpt om vaste overheads zoals barrier latencies te vermijden.
Software
OpenAI schrijft Jalapeño-kernels bijna als assembly. Elke kernel wordt handmatig geoptimaliseerd. Dit proces is inmiddels grotendeels geautomatiseerd met een interne, uitgebreide versie van Codex. De interne serving-engine heet "Teacup".
Gluon en Linear Layouts
De chip wordt geprogrammeerd met Gluon, de eigen kernel-programmeertaal van OpenAI. Gluon is gebouwd op Triton en behoudt het SPMD-model (Single Program Multiple Data), maar biedt laagstroom-abstracties.
Een uniek onderdeel van Gluon zijn de Linear Layouts. Dit is een wiskundige formalisering van de mapping tussen hardware-resources (bijv. een register) en tensor-elementen. Dit maakt bewijsbaar correcte layout-conversies en optimale memory swizzling mogelijk.
De "CUDA Moat"
De snelheid waarmee OpenAI nieuwe modellen op hun eigen silicon kan draaien, suggereert dat de "CUDA-gracht" (de concurrentievoorsprong van Nvidia door hun software-ecosysteem) mogelijk aan het verdwijnen is. Het hardware/software co-design stelt een frontier-lab in staat om sneller te itereren dan traditionele fabrikanten van commerciële chips.
De kwestie van Disaggregatie
OpenAI maakt geen gebruik van prefill-decode disaggregation (PDD). Hoewel PDD aantrekkelijk lijkt bij een bevroren workload, is productieverkeer variabel.
Nadelen van disaggregatie volgens OpenAI:
- Onderbezetting: Als de vraag naar prefill laag is, staan de decode-chips stil (en vice versa).
- Verlies van lokaliteit: De prefill-worker produceert een grote KV-cache die naar de decode-worker moet worden verzonden over het netwerk, wat zorgt voor extra bandbreedteverbruik en latentie.
- Speculatieve decoding: Het scheiden van het draft-model en de verifier maakt van een strakke loop een gedistribueerd protocol, wat de tijdswinst van speculatie teniet kan doen.
Door te kiezen voor een fungibele vloot van chips kan OpenAI capaciteit flexibel verschuiven tussen latentie-gevoelige requests en doorvoer-georiënteerde batches.
Systeemarchitectuur en Rack-configuratie
Het Jalapeño-systeem op rack-niveau bestaat uit een CPU-host rack en een ASIC rack.
- Katsu (Host rack): Bevat 16 host-trays. Elke tray heeft twee AMD EPYC CPU's (Turin-klasse) met 1,5 TB DRAM.
- Vindaloo (ASIC rack): Bevat 16 trays met elk 8 Jalapeño ASICs, wat neerkomt op 128 ASICs per rack.
- Chana (Switch trays): Bevat 8 switch-trays (6 lokaal, 2 globaal) die de ASICs verbinden via een koperen backplane.
Netwerk en Schaalbaarheid:
- Lokaal domein: Verbindt 128 XPUs binnen één rack met een uni-directionele bandbreedte van 4,8 Tb/s per XPU.
- Globaal domein: Verbindt tot 16 racks (totaal 2.048 XPUs) via een hybride van koper en optische interconnects (Optical Circuit Switches - OCS). De bandbreedte per XPU is hier 1,6 Tb/s.
- Stroomverbruik: Een volledig systeem (host + ASIC rack) verbruikt ongeveer 160 kW.
De toekomst
De eerste productie-tokens van Jalapeño worden binnenkort gegenereerd. Het volgende doel is een capaciteit van 100 MW. De grootste uitdagingen liggen nu niet meer bij de software, maar bij de hardware: productievolumes, implementatie in datacenters, monitoring en veerkracht.
Groetjes,