De CPU is terug: heroverweging van de CPU-GPU splitsing voor LLM-inferentie

Inferentie bestaat echter niet uit één enkel model dat één enkele vraag beantwoordt. De groeiende afhankelijkheid van tool-calls, meerstaps redenering en orchestratie over kleine, gespecialiseerde modellen verandert de berekening over waar rekenkracht moet worden geplaatst. Intel heeft deze verschuiving benadrukt door op te merken dat de CPU-to-GPU ratio verschuift van 1:8 bij trainingsworkloads naar 1:1, en in sommige gevallen zelfs 4:1 bij agentic deployments.

In dit artikel onderzoeken we waarom de aannames die GPU's de voor de hand liggende keuze maken voor LLM-inferentie opnieuw worden gewogen, wat de hernieuwde vraag naar CPU-gebaseerde serving drijft en wat de data zegt over de richting waarin de industrie zich beweegt.

Waar CPU's goed in zijn

In essentie lossen CPU's en GPU's fundamenteel verschillende problemen op.

Een moderne GPU bevat tienduizenden cores die zijn ontworpen om dezelfde operatie gelijktijdig uit te voeren op duizenden dataelementen. Dit maakt ze buitengewoon snel in de dichte matrixvermenigvuldigingen die de forward pass van een transformer voor inferentie domineren. Tijdens training en bij high-concurrency batched inference vertaalt dit parallellisme zich direct in throughput: meer tokens per seconde (TPS) en veel meer verzoeken bediend per dollar aan rekenkracht.

Moderne CPU's daarentegen hebben tussen de één en honderden cores die zijn geoptimaliseerd voor sequentiële, conditionele en vertakkende logica. Ze zijn bijzonder snel bij een enkele operatie die door een complexe beslissingsboom beweegt. Ze hebben directe toegang tot het hoofdgeheugen van het systeem en vormen de natuurlijke execution environment voor de orchestratielaag die elk model omhult. Tool-dispatch, code-executie, Python-runtimes, sandboxes, input/output (I/O) en de control flow van de agent-loop bevinden zich allemaal in de CPU.

Deze architecturen zijn geen concurrenten, maar werken het best in tandem. De echte vraag is niet welke architectuur beter is, maar welke workload waar thuishoort. Dit onderscheid komt neer op hoe we hun werk meten: FLOPS versus instructie-latentie.

• GPU's (FLOPS): GPU's draaien op floating-point operations per second (FLOPS). Omdat AI-modellen enorme netwerken zijn van decimale getallen die worden vermenigvuldigd en opgeteld, is de taak van een GPU om biljoenen van deze matrixberekeningen gelijktijdig uit te voeren. Het is volledig gebouwd voor brute wiskundige throughput.
• CPU's (Instructie-latentie): CPU's specialiseren zich in instructie-latentie, wat meet hoe snel een enkele core een onvoorspelbare keten van diverse commando's kan uitvoeren. Een CPU-core blinkt uit in de snelle logische schakelingen die nodig zijn om JavaScript Object Notation (JSON) te parsen, netwerk-I/O af te handelen of beveiligingsrechten te controleren.

Als je een GPU dwingt om een chaotische Python-runtime uit te voeren, blijft de enorme FLOP-capaciteit onbenut, verstikt door constant taak-switchen. Als je een CPU dwingt om de wiskunde van een LLM te verwerken, werkt dit perfect, maar het duurt erg lang omdat de massale parallelle pipelines ontbreken. De GPU is de wiskundige spier; de CPU is de logische motor die de show regisseert.

De traditionele inferentie-stack: de CPU als passagier

Bij de traditionele inferentie-stack, zoals een chatbot-serving applicatie, speelt de CPU vaak een ondersteunende rol:

1. Een verzoek komt aan bij de API-server, waar de CPU het tokeniseert en plant.
2. Het verzoek wordt overgedragen aan de GPU voor de forward pass, wat het grootste deel van het rekenbudget in beslag neemt.
3. De GPU voert attention uit, voedt forward layers en samplet het volgende token, met een korte CPU-synchronisatie om dit op te halen en de scheduler bij te werken.
4. Dit proces herhaalt zich tot er een end-of-sequence token wordt uitgezonden.
5. Ten slotte verzamelt de CPU de output en stuurt deze terug om de sessie te beëindigen.

In dit model fungeert de CPU als een receptionist die het coördinatie- en organisatiewerk doet, terwijl de GPU het zware computationele werk verricht. De ratio van CPU's ten opzichte van GPU's in AI-datacenters tijdens het trainingstijdperk weerspiegelde dit: ongeveer 1 tot 2 CPU's voor elke 8 GPU's. Teams provisioneerden net genoeg CPU's om de GPU's gevoed te houden. Deze setup verschuift nu langzaam, naarmate verbeteringen in CPU-inferentie de wereldwijde efficiëntie verhogen.

De eerste drijfveer: hoe agents de workload veranderen

Met de opkomst van "agentic AI" ontstaat er een nieuw inferentieprofiel dat de behoefte aan CPU-specifieke rekenkracht vergroot. Hoewel agentische systemen populairder worden in code-assistenten, is het minder niche dan het lijkt. Populaire assistenten zoals Claude en ChatGPT maken vaak gebruik van "redeneringsfasen" bij complexe antwoorden. Tijdens dit redeneren wordt de chatbot een volledig agentisch systeem. Een enkele taak voor de gebruiker kan worden opgesplitst in tientallen individuele model-calls, die elk kort zijn, contextafhankelijk zijn en conditioneel vertakken.

In een agentisch systeem genereert het model een actieplan, voert tool-calls uit, compileert alle teruggeleverde data en voltooit uiteindelijk een actie of geeft een antwoord. De CPU is verantwoordelijk voor:

• Het parsen van de output;
• Bepalen welke tool moet worden aangeroepen;
• Het maken van API-calls of het uitvoeren van code;
• Het verzamelen van resultaten en deze terugvoeren in de loop.

De ratio tussen organisatorisch werk en pure berekening verschuift, waardoor de CPU een veel grotere speler en een potentiële bottleneck wordt in het volledige proces. Onderzoekers van Georgia Tech en Intel ontdekten dat bij agentische workloads de tool-verwerking aan de CPU-zijde verantwoordelijk is voor 50–90% van de totale end-to-end latentie. Lip-Bu Tan, CEO van Intel, stelde tijdens Computex 2026: "voor reinforcement learning, orchestratie en agents is de CPU een veel betere match."

De cijfers uit het Q1 2026 earnings call van Intel kwantificeren deze verschuiving:

• Trainingsworkloads: ~1 CPU per 8 GPU's.
• Inferentie-workloads: Al verschoven naar ~1 CPU per 4 GPU's.
• Agentische workloads: Convergeren naar 1:1, waarbij sommige klanten rapporteren dat er 4 CPU's per GPU worden ingezet.

Arm voorspelt deze verschuiving nog sterker. Traditionele AI-datacenters vereisen ongeveer 30 miljoen CPU-cores per gigawatt (GW) capaciteit. Arm CEO Rene Haas schat dat dit in het tijdperk van AI-agents stijgt naar 120 miljoen CPU-cores per GW, een viervoudige toename gedreven door de orchestratie-eisen.

De tweede drijfveer: kleinere, gelokaliseerde modellen

Naast agentische AI is er een structurele verschuiving naar kleinere, domeinspecifieke modellen die worden ingezet dicht bij waar data wordt gegenereerd. Dit wordt gedreven door vier hoofdfactoren:

1. Latentie: Een round-trip naar een GPU-cluster in een cloud-datacenter kost tijd. Voor real-time applicaties zoals spraakinterfaces, autonome systemen en industriële monitoring wordt het latentiebudget gemeten in milliseconden. Lokale computing elimineert de netwerkvertraging.
2. Privacy: Gegevens naar een cloudprovider sturen betekent dat data de controle van de organisatie verlaat. In de zorg, finance en juridische sector is dit steeds vaker onacceptabel. Een lokaal model op bestaande on-premises serverinfrastructuur verwerkt data zonder dat deze het pand verlaat.
3. Kosten: Een enkele GPU kan meer dan $45.000 kosten. Voor workloads die de throughput van een GPU niet vereisen, is dit onverantwoord. CPU-inferentie op reeds aanwezige serverinfrastructuur heeft bijna nul marginale hardwarekosten.
4. Offline beschikbaarheid: Edge-deployments werken vaak zonder betrouwbare internetverbinding, waardoor cloud GPU-inferentie geen optie is.

Small Language Models (SLMs) zijn inmiddels volwassen genoeg om dit mogelijk te maken. Hugging Face SmolLM2 (van 135M tot 1,7B parameters) is ontworpen voor maximale efficiëntie op resource-beperkte apparaten; de 135M variant past volledig in de CPU-cache van moderne smartphones. Het prestatieverschil tussen SLM's en grote modellen wordt drastisch verkleind wanneer SLM's worden aangevuld met retrieval-augmented generation (RAG), en keert zelfs volledig om bij domeinspecifieke taken na fine-tuning.

De huidige stand van zaken in de industrie

De CPU-era is dichtbij, zo niet al begonnen:

• OpenAI en AWS: Tekenden in november 2025 een infrastructuurpartnerschap van $38 miljard. Dit omvat toegang tot honderdduizenden NVIDIA GPU's, met de mogelijkheid om uit te breiden naar tientallen miljoenen CPU's om agentische workloads snel op te schalen.
• Arm: Lanceerde in maart de AGI CPU, hun eerste productie-silicon in 35 jaar.
• NVIDIA: Lanceerde in maart 2026 de Vera CPU, "de eerste processor ter wereld specifiek gebouwd voor agentic AI." De Vera CPU biedt:
• 1,8× snellere sandbox-prestaties vergeleken met toonaangevende x86 CPU's voor agentisch inner-loop werk (code compilatie, Python tool chains, software code analyse).
• 2× geheugenbandbreedte en 3× bandbreedte per core ten opzichte van x86 CPU's met DDR5, via LPDDR5X memory met SOCAMM.

NVIDIA's flagship agentic inference platform, de Vera Rubin NVL72 rack, combineert 72 Rubin GPU's met 36 Vera CPU's per rack. Dit illustreert een pivot van de traditionele 1:8 ratio naar een 1:2 ratio. Morgan Stanley schat dat deze verschuiving naar agentische CPU's resulteert in een incrementele groei van de CPU-markt van $32,5 tot $60 miljard tegen 2030.

LLM's meten en deployen op CPU's

Voor GPU-gedomineerde workloads is het voordeel van de GPU substantieel. Een enkele H200 die Llama 3.1 8B serveert, behaalt ongeveer 7.464 generatie tokens/sec op chat-workloads; een CPU virtuele machine (VM) blijft hier significant achter.

Echter, piekthroughput bij hoge concurrency is niet de belangrijkste benchmark voor CPU-inferentie. Het is relevanter om het workload-profiel te meten dat past bij CPU-deployments. Omdat CPU's cores, geheugenbandbreedte en cache delen met andere processen op de machine, vereist isolatie een zorgvuldige scheiding op socket- of node-niveau. Red Hat heeft hierop gereageerd met een open source 3-fasen framework (vllm-cpu-perf-eval), dat samen met GuideLLM basishandigheid, realistische verkeersvariantie en productie-optimalisaties test op een reproduceerbare manier.

Voor wie dit wil implementeren: Red Hat heeft een collectie gevalideerde modellen op Hugging Face, en Intel's AI Software Catalog biedt productierijpe modellen geoptimaliseerd voor Xeon Gen 4–6 processoren met vLLM-ondersteuning.

De architectuur die CPU-inferentie mogelijk maakt

Verschillende ontwikkelingen in de softwarestack hebben CPU-inferentie levensvatbaar gemaakt:

De CPU-backend van vLLM ondersteunt nu functies die voorheen voorbehouden waren aan GPU's, zoals continuous batching, PagedAttention, prefix caching, chunked prefill en tensor parallelism. Deze werken op:

• x86 AVX-512
• Arm AArch64
• Apple Silicon (experimenteel)
• IBM Z

De OpenAI-compatibele API is identiek over alle backends, wat betekent dat een deployment die start op CPU-infrastructuur kan migreren naar GPU zonder wijzigingen in de applicatielaag.

Op Arm is het pad via oneDNN en de Arm Compute Library, gecombineerd met INT4 quantisatie via llmcompressor, een getest productiestraject (o.a. op AWS Graviton4). Op Intel maakt de Intel Extension for PyTorch (IPEX) automatisch gebruik van Advanced Matrix Extensions (AMX)-backed BF16 operaties. Operators hebben directe controle over geheugen- en threading-trade-offs via omgevingsvariabelen:

• VLLMCPUKVCACHE_SPACE (allocatie KV cache in GB)
• VLLMCPUOMPTHREADSBIND (OpenMP thread pinning)
• VLLMCPUSGL_KERNEL (experimentele AMX + BF16 small-batch kernels)

Conclusie

De GPU zal niet verdwijnen. Voor high-concurrency productie-serving van grote modellen blijft de GPU het juiste antwoord.

Wat is wel veranderd, is de reikwijdte. Agentic AI heeft een klasse van workloads geïntroduceerd — orchestratie, tool-executie, code sandboxing en multi-agent coördinatie — waarbij CPU's het juiste gereedschap zijn. De verschuiving in ratio van 1:8 naar 1:1 is geen tijdelijke anomalie, maar het gevolg van inferentie die iteratief wordt in plaats van single-shot.

Tegelijkertijd drijven de economische aspecten en beperkingen van edge-deployment (latentie, privacy, kosten en offline beschikbaarheid) een parallelle golf van CPU-gebaseerde inferentie voor kleine, gelokaliseerde modellen. NVIDIA bouwt Vera, Arm keert terug in het spel, Intel ziet de vraag naar Xeon stijgen boven het aanbod, en OpenAI contracteert tientallen miljoenen CPU's. De CPU is terug.