Binnen in Prometheus: Meta's reis naar een supercluster op gigawatt-schaal

Met de recente release van de Muse-familie van fundamentele modellen, willen we u meenemen in de infrastructuur die dit allemaal mogelijk heeft gemaakt.

De eerste fase van Prometheus, onze supercluster op gigawatt-schaal, is al voltooid en we werken eraan om deze op te schalen naar ongeveer 1 miljoen GPU's. Prometheus maakt gebruik van technologieën zoals gesloten-lus vloeistofkoeling om efficiënt te kunnen werken.

Op dit moment onderneemt Meta in New Albany, Ohio, zijn meest ambitieuze AI-infrastructuurproject tot nu toe. Prometheus, onze supercluster op gigawatt-schaal, is een vooruitgang in onze infrastructuur die de volgende generatie fundamentele modellen traint, die nieuwe AI-ervaringen zullen brengen aan miljarden mensen.

Twee jaar geleden was New Albany een conventionele datacenterlocatie die webverkeer afhandelde. Met advancements in hardware, netwerkvormgeving en gebouwontwerp hebben we deze site omgebouwd tot de thuisbasis voor trainingsprogramma's voor frontier-modellen. We bouwen de supercluster in fasen. De eerste fase is reeds voltooid en werd gebruikt om onze Muse-fundamentele modellen te trainen, waaronder de Muse Wonder-modellen; onze nieuwe frontier-modellen die state-of-the-art prestaties leveren bij persoonlijke en professionele agentische taken.

Grote trainingsopdrachten vereisen dat alles optimaal werkt om hun prestaties te behouden; een probleem op een enkele host kan de gehele opdracht vertragen of stopzetten, wat de 'goodput' verlaagt. Door ons te concentreren op het verbeteren van de stabiliteit en betrouwbaarheid van onze systemen, konden we een goodput van meer dan 85% bereiken voor pre-training runs en meer dan 90% goodput voor reinforcement learning (RL) runs van Muse Wonder. Tijdens deze trainingsruns konden we een totale gemiddelde tijd tussen onderbrekingen (MTBI) in werkelijke tijd bereiken van ongeveer 47k GPU-uren. Sindsdien hebben we verdere wijzigingen doorgevoerd in onze vloot, inclusief firmware-fixes om de MTBI te verhogen naar meer dan 54k GPU-uren, en we verbeteren dit voortdurend.

Nu gaan we verder met het opschalen van Prometheus, met de volgende frontier-modellen van Meta Superintelligence Labs in het achterhoofd.

De Supercluster: Nieuwe AI-mogelijkheden ontsluiten

Op dit moment bestaat Prometheus uit een reeks van honderdduizenden GPU's verspreid over meerdere onderling verbonden gebouwen, waaronder traditionele en AI-geoptimaliseerde datacentergebouwen en structuren voor snelle implementatie, die allemaal nauw met elkaar verbonden zijn door kilometers glasvezel en functioneren als één enkele machine.

Deze capaciteit stelt ons in staat om grotere modellen en langere contextvensters na te streven dan voorheen praktisch mogelijk was. Op volledige schaal zal Prometheus bestaan uit ongeveer 1 miljoen gedistribueerde GPU's die allemaal synchroon functioneren.

Meerdere generaties AI-hardware

Prometheus implementeert momenteel twee NVIDIA GPU-platforms, waarbij een derde (gebaseerd op NVIDIA's Vera Rubin NVL72) binnenkort arriveert. Elk platform vertegenwoordigt een generatiesprong in prestaties en efficiëntie, waarbij gebruik wordt gemaakt van onze NVL72 rack-architectuur, waarbij 72 GPU's fungeren als één enkele accelerator binnen hetzelfde netwerkfabric.

Catalina: NVIDIA GB200

Ons eerste platform, Catalina, maakt gebruik van de NVIDIA GB200 NVL72. We implementeren de Ariel-variant, een configuratie van twee racks waarin 36 GPU's per rack via NVLink met elkaar zijn verbonden om een uniform domein van 72 GPU's te vormen. Catalina biedt verbeteringen in ruwe rekenkracht en geheugencapaciteit vergeleken met Grand Teton H100. Het maakt gebruik van onze Open Rack V3 (ORv3) high-power rack (HPR) structuur, een open hardware-ontwerp dat is bijgedragen aan het Open Compute Project (OCP).

De Ariel-variant van GB200 NVL72 koppelt elke NVIDIA Blackwell GPU aan een NVIDIA Grace CPU en 2x NVIDIA ConnectX-7 400G NIC's met een 1:1 CPU-tot-GPU ratio, waardoor we 800G I/O per GPU konden implementeren voordat de rest van de industrie dat deed. We kozen voor Ariel omdat de GB200 NVL72 op bijna elke andere dimensie opschaalde ten opzichte van de NVIDIA H100: FLOPS, HBM-bandbreedte, scale-up bandbreedte en scale-up domeingrootte, terwijl de scale-out bandbreedte per GPU op 400G zou zijn gebleven. We verwachtten dat deze onbalans ten koste zou gaan van de prestaties, dus kozen we voor een configuratie die 800G scale-out per GPU levert. Dit zorgde ook voor meer uniformiteit in specificaties naarmate de regio in de loop van de tijd uitbreidde en 800G scale-out beschikbaar kwam.

De Catalina GB200 NVL72 kenmerkt zich door:

• 72 NVIDIA Blackwell GPU's met 13,4 TB HBM3e (192 GB per GPU).
• 720 piek PFLOPS aan FP8 training-compute (1.440 PFLOPS bij FP4).
• 130 TB/s piek NVLink-bandbreedte binnen het domein.
• 576 TB/s piek geaggregeerde geheugenbandbreedte.
• ~120 kW totaal systeemvermogen over het paar van twee racks.

Clemente: NVIDIA GB300 NVL72

Ons tweede platform, Clemente, stapt over op de NVIDIA GB300 NVL72 en verbetert Catalina op zowel GPU- als platformniveau. De GB300 verhoogt de HBM-capaciteit per GPU met 1,5x, van 192 GB naar 288 GB, en de dense FP4-doorvoer met een vergelijkbare factor, terwijl de attention (softmax) acceleratie ongeveer verdubbelt. Op platformniveau is scale-out niet langer de beperking die het was bij de GB200 NVL72: NVIDIA ConnectX-8 SuperNIC's leveren standaard 800G per GPU, waardoor de capaciteit die we vroegtijdig implementeerden bij Ariel nu de basis wordt. Dit, samen met een 2:1 GPU-tot-CPU ratio, stelt Clemente in staat om het volledige 72-GPU domein in één enkel rack te plaatsen, wat onze fysieke implementatie stroomlijnt. Clemente kan worden geïmplementeerd met onze modulaire Air-Assisted Liquid Cooling (AALC) of gebruikmaken van Facility Liquid Cooling (FLC) in onze nieuw ontworpen datacenters. Ook de servicebaarheid is aanzienlijk verbeterd door minder bekabeling.

De Clemente GB300 NVL72 kenmerkt zich door:

• 72 NVIDIA Blackwell Ultra GPU's met 20,7 TB HBM3e (288 GB per GPU — 50% meer dan de GB200).
• Meer dan 1 exaFLOP aan piek FP4-compute.
• 130 TB/s piek NVLink-bandbreedte (1,8 TB/s bidirectioneel per GPU).
• ~135 kW rackvermogen.
• 5-10% prestatieverbetering ten opzichte van de GB200 NVL72.

De Supercluster verbinden

Bij traditionele webdiensten transporteert het datacenternetwerk verzoeken en antwoorden tussen services waarvan de instanties doorgaans geen hoge bandbreedte, hoge prestaties en nauwe, synchrone coördinatie over veel servers vereisen. Grootschalige AI-training vereist dit alles, wat betekent dat het netwerk dat ze verbindt nu een belangrijk onderdeel is van AI-workloads. Om dit optimaal aan te pakken, hebben we enkele jaren geleden, naast het standaard datacenternetwerk dat servers verbindt, een tweede dedicated datanetwerk op basis van Ethernet toegevoegd, genaamd het Back-End (BE) netwerk, om directe GPU-tot-GPU communicatie mogelijk te maken, zowel binnen als tussen datacentergebouwen.

Grote pre-training opdrachten verdelen de training in data-parallelle modelreplica's, waardoor er een hiërarchie in netwerkgebruik ontstaat: latentiegevoelige en bandbreedtegevoelige operaties concentreren zich binnen een replica, terwijl verkeer dat toleranter is voor hogere latentie en minder bandbreedte, wordt gepland tussen replica's. Ons netwerk is ontworpen om aan deze hiërarchie te voldoen, met fabrics met lage latentie en hoge bandbreedte binnen gebouwen en een aggregatienetwerk dat de gebouwfabrics verbindt.

We werken nauw samen met Meta Superintelligence Labs om ervoor te zorgen dat het parallellisme-ontwerp, de verkeerspatronen en de communicatiealgoritmen en -software zijn geoptimaliseerd om blootstelling aan netwerkcommunicatie te minimaliseren. Dit houdt de GPU's zo druk mogelijk, zodat ze niet op het netwerk hoeven te wachten.

Het Meta-team heeft deze netwerkconcepten de afgelopen jaren toegepast in eerdere cluster-groottes van 24K GPU's op gebouwniveau en onze regio-schaal cluster van 100K+ GPU's, en we hebben ze naar een nieuw niveau van schaal en afstand gebracht in Prometheus.

Netwerkfabrics

Op gebouwniveau verbindt elke Ethernet-gebaseerde fabric tot 20.736 GPU's via een multi-layer topologie met hoge bandbreedte en lage latentie. Ons initiële ontwerp maakte gebruik van een Disaggregated Scheduled Fabric (DSF) om netwerkcongestie te verminderen die wordt veroorzaakt door training collectives, die doorgaans een klein aantal grote, langdurige netwerkstromen hebben die botsen onder traditionele load-balancing technieken; dit gebeurt door gebruik te maken van sub-packet-level multipath routing en packet re-ordering in de fabric, samen met virtuele output-queues en credit-based end-to-end flow control.

Naarmate de Ethernet NIC-technologie vorderde en packet re-ordering aan het eindpunt mogelijk maakte, konden we updaten naar een Non-Scheduled Fabric (NSF) die gebruikmaakt van shallow-buffer 51.2T Ethernet-switches, zoals Minipack3 met Dynamic Load Balancing en de NVIDIA Spectrum-4 switch ASIC-gebaseerde Minipack3N met NVIDIA's Adaptive Routing op ConnectX NIC's. Zowel DSF als NSF zijn gebaseerd op de FBOSS-netwerkstack van Meta, wat ons de controle geeft om de fabrics in Prometheus snel te itereren en te optimaliseren, en het zicht om deze clusters op schaal te beheren.

Aggregatie

Het Backend Aggregation (BAG) netwerk is een multi-layer hub-and-spoke netwerk dat gebouwniveau-fabrics over de Prometheus-cluster verbindt, over afstanden van 2 km tot meer dan 100 km. Het is gebouwd met Arista 7800-serie chassis die draaien op deep-buffered Broadcom Jericho3-silicon, wat meerdere Pbps bandbreedte per regiopaar levert.

Het uitvoeren van pretraining over dit netwerk vereiste een gerichte optimalisatie-inspanning met Meta Superintelligence Labs om ervoor te zorgen dat de training niet werd vertraagd, vooral gezien de beperkingen van de lichtsnelheid over deze afstanden.

Als we dit allemaal samenvoegen, omvat de complexiteit van het Prometheus-netwerk miljoenen mijlen glasvezel, tienduizenden switches en miljoenen optica — van 2×400G FR4 LITE short-reach, goedkope pluggables binnen de gebouwen tot 800G-ZR coherente optica voor links verder dan ~10 km.

Betrouwbaarheid engineeren op elk niveau

Op de schaal van Prometheus moet elk component worden gemonitord op betrouwbaarheid. Een enkele fout kan een hele trainingsopdracht stopzetten en waardevolle rekenbronnen verspillen.

Het behouden van betrouwbaarheid op dit niveau vereist een co-engineering model met NVIDIA dat verder gaat dan een traditionele vendor-dynamiek. Teams zijn diep ingebed in onze datacenters, delen real-time telemetrie en voeren gezamenlijke triage-sessies uit om elke systeemstop te ontleden tot aan de bronoorzaak.

Dit model van toerekeningsgerichte verantwoordelijkheid zorgt ervoor dat beide partijen zich richten op gerichte verbeteringen. Terwijl Meta de planning en infrastructuur optimaliseert, richt NVIDIA zich op firmware, signaaldiagnostiek en geheugenbeheer. Deze transparantie elimineert ambiguïteit en zorgt voor snellere fixes binnen beide organisaties.

Het 72-GPU foutdomein (Failure Domain)

De overgang van de NVL8-architectuur van de H100-generatie naar NVL72 heeft onze benadering van infrastructuurveerkracht fundamenteel herdefinieerd. In het NVL8-tijdperk was het scale-up domein — de groep GPU's die nauw gekoppeld zijn via NVLink voor tensor-parallellisme — beperkt tot acht eenheden. Met NVL72 breidt dat domein zich uit naar 72 GPU's, waardoor de impactradius (blast radius) van fouten met 9x toeneemt.

Het grotere scale-up domein is wat NVL72 zijn bandbreedtevoordeel geeft, maar het maakt het 72-GPU rack ook tot de eenheid van toewijzing waar we onze capaciteit omheen plannen. Training-parallellisme is het meest efficiënt bij groepsgroottes die machten van twee zijn, dus elk NVL72-domein draait een slice van 64 GPU's en houdt de resterende acht GPU's als reserve in het rack. Wanneer een GPU uitvalt, neemt een reserve-GPU onmiddellijk zijn plaats in, zodat de opdracht kan herstarten vanaf het laatste checkpoint in plaats van te wachten op hardwareherstel, waardoor het rack in de opdracht blijft. De in-rack redundantie drukt de effectieve rack-foutrate terug naar het niveau dat wordt bepaald door fouten die een hele pod kunnen uitschakelen; voor zeldzamere volledige rack-fouten houden we ongeveer 2% extra racks in reserve. Voor een training run met 32.768 actieve GPU's betekent dit het voorzien van 523 NVL72-racks, of 37.656 GPU's, ongeveer 13% boven de actieve footprint. Het grootste deel van die marge (11%) vloeit voort uit de 64-van-de-72 slice-geometrie en is geen absolute betrouwbaarheidsbelasting.

Fysieke complexiteit intensiveert deze betrouwbaarheidseisen verder. Een enkel NVL72-domein bevat 5.184 getunede differential-pair signaalverbindingen die werken op 200 Gbps, waarbij elk meerdere potentiële faalpunten passeert, waaronder GPU SerDes, compute tray PCB's, kabelcartridges en switch tray interfaces. Het handhaven van consistente signaalintegriteit over deze dichte fabric — op 200 Gbps per lane — is een ongekende engineering-uitdaging op deze schaal.

Foutherstel (Fault Recovery)

Foutherstel richt zich op hoe we reageren op fouten om de impact op de trainingstijd te minimaliseren. Afhankelijk van de omvang (de impactradius) van een fout, pakken we dit aan via twee mechanismen:

• Parallelism-Aware Fault Tolerance (PAFT): Wanneer een fout kan worden geïsoleerd tot een data-parallelle modelreplica, verminderen we de impact van een hardwarefout door toe te staan dat één defecte replica offline wordt gehaald, terwijl de rest van de cluster die stap herhaalt en productieve training voortzet. De gecompromitteerde slice start simpelweg opnieuw op beschikbare reservehosts en synchroniseert zich, waardoor een potentiële totale systeemstop wordt omgezet in een kleine, tijdelijke vermindering van de geaggregeerde doorvoer.
• Checkpointing: Wanneer de impactradius van een fout groter is dan een data-parallelle modelreplica, wordt de gehele opdracht herstart vanaf het laatste checkpoint; frequente checkpointing vermindert de hoeveelheid verloren werk bij deze gebeurtenissen. Onze gedistribueerde checkpointing-architectuur slaat de modelstatus — inclusief gradiënten en optimizer-data — asynchroon op in multi-tier storage. We gebruiken delta-checkpointing en in-memory staging om ervoor te zorgen dat deze saves plaatsvinden met minimale impact op de trainingdoorvoer.

Deze twee foutherstelmechanismen combineren met een reserve-strategie die gebruikmaakt van vooraf toegewezen reserve-GPU-trays binnen een rack, alsmede reserve-racks, om de tijd voor het in gebruik nemen van vervangende hardware te minimaliseren en het verlies door hardwarefouten te beperken.

Systematische vermindering van onderbrekingen

Bij het trainen van frontier-modellen vereist infrastructuurbetrouwbaarheid een perspectief dat verder gaat dan eenvoudige beschikbaarheid. De fundamentele uitdaging ligt in het behouden van de trainingsmomentum zonder frequente systeemstops. Binnen Prometheus classificeren we een onderbreking als elke fout — van GPU-siliciumdefecten en netwerkfabric-anomalieën tot storage-bottlenecks of thermische limieten — die een opdracht dwingt te pauzeren en een herstelcyclus te initiëren.

Deze onderbrekingen veroorzaken een grote operationele overhead omdat onze workloads nauw interdependent zijn; een enkele fout binnen een 72-GPU domein kan de geaggregeerde doorvoer van de gehele cluster beïnvloeden. Dit prestatieverlies heeft direct invloed op onze engineering-iteratiesnelheid, wat resulteert in minder effectieve compute en langere tijdlijnen voor het leveren van geavanceerde AI-ervaringen aan miljarden mensen.

Tijdens de initiële fase van Prometheus in het midden van 2025 bereikten onze onderbrekingspercentages een piek van bijna 1.000 events per 8K GPU's per dag. Door een jaar van rigoureuze cross-functionele engineering hebben we een vermindering van 99% in onderbrekingen gerealiseerd, waardoor de cluster meerdere training-opdrachten van tienduizenden GPU's parallel kan ondersteunen.

Om deze stabiliteit te bereiken was een gedetailleerde ontleding van elke bron van onderbreking nodig, gevolgd door de implementatie van gerichte engineering-oplossingen voor elke foutcategorie:

• NVLink Signaalintegriteit: Aanvankelijk de primaire bottleneck voor GB200-implementaties. Met meer dan 600.000 NVLink-verbindingen triggeren zelfs marginale signaaldegradaties frequente NVLink-herstelcycli. We hebben continue telemetrie en geautomatiseerde flagging geïmplementeerd, waarbij we L11 diagnostische burns gebruiken om zwakke verbindingen te isoleren vóór productie. Onze classificatietools maken onderscheid tussen tijdelijke fouten en persistente signaalintegriteitsfouten, wat gerichte reparaties en componentvervanging stuurt, en we valideren gerepareerde systemen voordat we ze terugbrengen in productie.
• Geheugenbetrouwbaarheid (HBM en LPDDR): Geheugen-gerelateerde fouten werden een belangrijke bron van onderbrekingen naarmate we GB300 schaalden met hogere geheugencapaciteiten. In nauwe samenwerking met NVIDIA gebruikten we vloottelemetrie en gedetailleerde foutanalyse om terugkerende foutsignaturen te identificeren, die worden gemitigeerd via verfijnde HBM-firmware-instellingen, memory scrubbing, een verbeterd foutcorrectie-algoritme voor LPDDR, en patroongebaseerde predictieve detectie om degraderende apparaten uit te faseren voordat ze de jobdoorvoer beïnvloeden. We implementeren deze wijzigingen in de hele vloot en meten hun impact op de onderbrekingspercentages en de vraag naar hardwarevervanging.
• NVLink Switch en Fabric Gezondheid: Een enkele switch-fout kan een volledig NVL72-domein compromitteren. We monitoren de fabric-gezondheid met milliseconde-resolutie en maken gebruik van geautomatiseerde herstelpaden om defecte componenten te isoleren en verkeer te herverdelen over de resterende infrastructuur zonder een onderbreking van de opdracht.
• Backend Netwerk Events: Op de BAG super-spine laag worden link-events transparant beheerd via hardware-gebaseerde foutdetectie. Onze planaire topologieën zorgen ervoor dat individuele glasvezel- of poortfouten worden omgeleid zonder de gesynchroniseerde GPU-verkeersbursts te onderbreken.

Duurzame verbetering wordt gedreven door onze operationele infrastructuur: een colocatie triage-team op de site in New Albany, een uitgebreide stability sprint in maart die fixes over de hele stack synchroniseerde, en een rigoureus toerekeningsgericht verantwoordelijkheidsframe. Elke reparatie ondergaat een verplichte quarantaine om de systeemintegriteit te valideren voordat deze terugkeert naar de compute pool.

Onze betrouwbaarheidsdoelstelling blijft twee onderbrekingen per 8K GPU's per dag, wat neerkomt op ~100k GPU-uren MTBI. Het behalen van een vermindering van 99% vanaf ons piekonderbrekingspercentage bewijst dat stabiliteit op de schaal van Prometheus een engineering-uitdaging is met oplosbare engineering-resultaten.

Hardware rijpen op vlootniveau (Fleet Scale)

Het implementeren van honderdduizenden eerste-generatie accelerators brengt kwaliteitsproblemen aan het licht die bij lagere volumes verborgen blijven. De GB200-implementatie heeft hardware-maturatie getransformeerd tot een primaire engineering-discipline voor onze teams en partners.

De engineering-gebieden omvatten:

• Snelle implementatie van Firmware Bundles: We hebben betrouwbare en snelle firmware-bundle automatisering gebouwd, in staat om firmware- en driver-fixes naar meer dan 100k GPU's te pushen binnen enkele uren. We hebben de P90 van single-pod upgrade-tijden verlaagd van meer dan zeven uur bij de introductie van de hardware naar twee uur. Dit stelt ons in staat om snelle fixes voor de belangrijkste onderbrekingscategorieën naar onze vloot te sturen.
• Vlootgezondheid: We correleren telemetrie over multi-rack systemen en classificeren elke jobonderbreking om softwarefixes, hardware-reparaties en vervangingsbeslissingen te sturen. We tracken MTBI naast beschikbare capaciteit plus effectieve trainingdoorvoer, en hebben een robuuste feedbackcyclus om verbeteringen in hardware- en softwarebetrouwbaarheid te vertalen naar productievere compute.
• Cross-Partner Kwalificatie: implementatie van parallelle validatie met meerdere productiepartners om consistente kwaliteit te garanderen via continue feedback uit onze productievloot.
• Geautomatiseerde Signaal Screening: validatie van meer dan 600.000 NVLink-paden met diagnostische stresstesten voordat er productieverkeer wordt gerouteerd. Zelfs kleine defectpercentages vereisen op deze schaal proactieve identificatie.
• Stroomvoorziening Stresstesten: onderzoek naar hoe PSU-modules en spanningsregelaars interageren onder de 1.400W belasting van individuele GPU's om faalmodi aan het licht te brengen die alleen bij hoge volumes verschijnen.
• Precisie Vloeistofkoeling: handhaving van strikte kwaliteitsgates voor cold plate en manifold-assemblage om optimale junctietemperaturen te behouden en lekken in de vloot te voorkomen.
• Vlootonderhoud: proactieve voorbereiding, snelle afvoer, prioritering voor fix-reparatie en het vooraf positioneren van reserves.
• Gezondheidschecks: geavanceerde ingestion/burn-in en pre-job gezondheidschecks die worden gebruikt om gezonde nodes te identificeren voor inclusie in grote trainingsopdrachten.

Elke nieuwe platformarchitectuur — van Blackwell tot Vera Rubin — incorporeert deze praktijkervaringen, waardoor onze screening- en ontwerpspecificaties bij elke stap worden aangescherpt.

Optimalisatie van stroomvoorziening en beheer van transiënten

Het maximaliseren van de doorvoer voor een bepaald stroombudget, het minimaliseren van onbenut vermogen (stranded power) en synchrone gedistribueerde training introduceert een hindernis in de stroomvoorziening. Wanneer tienduizenden GPU's synchroon compute-zware fasen en communicatiecycli uitvoeren, triggeren ze grote stroomtransiënten — plotselinge belastingsschommelingen van 30-40% binnen de cluster. Het starten of pauzeren van een grote trainingsopdracht kan belastingen van meer dan tientallen megawatts verschuiven in slechts enkele seconden.

We pakken dit aan met Dynamo Dimmer, ons cluster-brede stroombeheerkader dat intelligente stroombegrenzing (power capping) mogelijk maakt. In plaats van workloads hard te stoppen, past Dimmer geleidelijk de GPU-stroomlimieten aan wanneer de cluster zijn elektrische plafond nadert, waardoor de training ononderbroken doorgaat. Dit systeem wordt versterkt door batterij-back-up (BBU) modules op rack-niveau die onmiddellijke pieken opvangen, condensatortrays (CBUs) voor piekvereffening, batterij-energiesystemen (BESS) op faciliteitsniveau, en nauwe coördinatie met nutsbedrijven om deze unieke AI-profielen te beheren.

Koeling beheren in een heterogene vloot

Hoewel onze gedistribueerde aanpak ons in staat heeft gesteld Prometheus snel te bouwen, betekende dit ook dat we moesten navigeren door locatie-specifieke stroom- en koelingsbeperkingen over verschillende locaties.

Onze fysieke infrastructuur bevat meerdere koelingsgeneraties om de vloeistofkoeling te leveren die vereist is door deze high-power racks. Prometheus draait op een mix van modulaire air-assisted liquid cooling (AALC), inclusief onze free-air datacentergebouwen en onze structuren voor snelle implementatie. Ons specifiek gebouwde AI-geoptimaliseerde gebouw maakt nu gebruik van facility liquid cooling (FLC) voor maximale vermogensdichtheid.

Door geleasde capaciteit van strategische partners te integreren naast onze eigen gebouwen, versnellen we onze implementatietijdlijnen en totale inzetbare capaciteit. Ondertussen hebben onze industriële structuren voor snelle implementatie het constructieboek herdefinieerd door productieklaar compute te leveren binnen kortere tijdlijnen.

Efficiënt opereren

In New Albany werken we al lang samen met lokale nutsbedrijven om ervoor te zorgen dat we de volledige kosten van energie voor onze site betalen en geen onnodige druk uitoefenen op het lokale net. We zijn ook gaan samenwerken met energieontwikkelaars om ons energiegebruik te matchen met nieuwe schone en hernieuwbare energie.

Meta's nieuwste AI-geoptimaliseerde datacenters maken gebruik van gesloten-lus vloeistofkoeling, omdat dit de meest efficiënte manier is om GPU-servers te koelen en het efficiënt gebruik van water ondersteunt. Direct-to-chip, gesloten-lus vloeistofkoeling helpt ruimte te besparen door ons meer GPU's op een serverrack te laten passen. We werken ook aan het uitbreiden van ons duurzaamheidswerk door ontwerpen voor systemen zoals IcePack, ons vloeistofgekoelde netwerkrack, te delen met de bredere industrie via OCP.

Voorbij Prometheus

We zullen nauw blijven samenwerken met NVIDIA om de capaciteit van Prometheus uit te breiden met een mix van NVIDIA GB300 NVL72's en NVIDIA Vera Rubin NVL72's.

NVIDIA's volgende generatie Vera Rubin NVL72-platform zal een generatiesprong betekenen in prestaties per GPU en zal direct worden geïntegreerd in de bestaande netwerkfabric van Prometheus. Naarmate de cluster volwassen wordt, zal deze nog meer compute per watt leveren door zijn capaciteit (primair onderling verbonden GB300's) aan te vullen met Vera Rubin via ons aanstaande San Miguel-platform.

De San Miguel Vera Rubin NVL72 zal beschikken over:

• 72 NVIDIA Vera Rubin GPU's met 288 GB HBM4 en 19,2 TB/s piekbandbreedte per GPU.
• 2,52 piek EFLOPS aan FP4 training-compute; 1,26 piek EFLOPS FP8 training per rack.
• 216 TB/s piek NVLink-bandbreedte (3 TB/s bidirectioneel per GPU).
• ~1.500 TB/s piek geaggregeerde geheugenbandbreedte.
• Volledig vloeistofgekoelde compute trays van meer dan 170 kW per rack.
• 10-20% verbetering in prestaties per watt ten opzichte van de GB300 NVL72.

De technologische prestaties binnen Prometheus hebben geholpen bij het vaststellen van het blauwdruk dat zal bepalen hoe we in de toekomst naar de complexiteit van supercluster-ontwerp kijken. Hyperion, onze aanstaande supercluster in Richland Parish, Louisiana, wordt vanaf de basis ontworpen met de inzichten van Prometheus in gedachten. Het zal beschikken over gesloten-lus vloeistofkoeling, volledige netwerkverbinding met onze partner Entergy (waarvoor Meta de volledige kosten betaalt) en netwerkontwerpen van de volgende generatie.