Stroomvereisten voor AI-datacenters: de GPU-per-MW-illusie

Samenvatting: Twee datacentervoorstellen kunnen dezelfde capaciteit in megawatt vermelden, maar toch een fundamenteel verschillende hoeveelheid bruikbare AI-rekenkracht beschrijven. Het verschil zit vaak in vermogensgrenzen, PUE-aannames en infrastructuur die buiten de berekening blijft.

De GPU-per-megawatt-illusie: waarom meer GPU's op papier in de praktijk minder rekenkracht kunnen betekenen

Twee AI-datacentervoorstellen zijn naast elkaar geplaatst.

Beide claimen hetzelfde vermogen in megawatt. Het ene vermeldt meer GPU's, lagere kosten per accelerator en schijnbaar een hogere densiteit.

Zodra u de onderliggende aannames bekijkt, verandert het beeld.

Het ene voorstel gebruikt het gemiddelde verbruik van de accelerator. Het andere beoordeelt het volledige rack en de operationele omstandigheden die de faciliteit werkelijk moet ondersteunen.

Het ene past een aantrekkelijk PUE-cijfer toe. Het andere maakt onderscheid tussen het totale faciliteitsvermogen en de bruikbare ICT-capaciteit.

Het ene reserveert vermogen en ruimte voor netwerken, opslag, beheer, koelingsondersteuning, onderhoud en uitbreiding. Het andere telt vooral GPU's.

Het hogere cijfer wijst dus niet noodzakelijk op betere engineering. Mogelijk hanteert het voorstel gewoon een smallere berekeningsgrens.

Dit is de GPU-per-megawatt-illusie: de overtuiging dat het grootste theoretische aantal versnellers binnen een nominaal vermogenbereik het beste AI-datacenterontwerp moet zijn.

Dat is niet het geval.

De relevante metric is inzetbare compute per megawatt: hoeveel infrastructuur de volledige faciliteit gelijktijdig van stroom, koeling, netwerk en data kan voorzien, onderhouden en betrouwbaar laten werken.

Hoe voorstellen op papier tot meer GPU's komen

“GPU's per megawatt” is commercieel aantrekkelijk omdat het gemakkelijk te vergelijken is. Het probleem is dat geen van beide kanten van de verhouding een universele definitie heeft.

Een megawatt kan de input van het elektriciteitsnet, het totale vermogen van de faciliteit, het vermogen van de datahal of het bruikbare ICT-vermogen in het rack betekenen. Een GPU-telling kan betrekking hebben op acceleratormodules, complete servers, geïnstalleerde racks of volledig operationele clustercapaciteit.

Dat creëert verschillende manieren waarop een voorstel er compacter uit kan zien zonder noodzakelijkerwijs meer bruikbare rekenkracht te leveren.

Het probleem is niet noodzakelijk foutieve rekenkunde, maar een inconsistente scope.

Een voorstel wordt niet efficiënter door netwerkswitches, storage arrays, control nodes, ondersteunende koellasten of onderhoudscapaciteit buiten de berekening te houden.

Gemiddeld verbruik is geen ontwerpcapaciteit

Het gemiddelde GPU-verbruik is nuttig om energie-inkoop, operationele kosten en verwacht gebruik te ramen.

Het is niet automatisch de juiste basis voor het dimensioneren van elk elektrisch en thermisch onderdeel.

Grote clusters voor transformertraining kunnen vrijwel gelijktijdig tussen workloadtoestanden schakelen. Volgens Uptime Institute kan dat frequente sprongen in het gevraagde vermogen veroorzaken, soms om de één of twee seconden. De omvang daarvan hangt af van de hardware, clusterconfiguratie, workload en instellingen voor energiebeheer. Dat betekent niet dat iedere GPU voortdurend op één theoretische piek draait. Evenmin betekent het dat iedere faciliteit met één willekeurige factor overgedimensioneerd moet worden.

Een geloofwaardig ontwerp evalueert:

• Maximale aanhoudende workload
• Terugkerende vermogenspieken
• Synchronisatie en diversiteit in workload
• Fabrikantlimieten
• Overbelastingskarakteristieken van UPS-systemen, stroomonderbrekers en busbars
• Koelsysteemreactie
• Beleid voor power capping of smoothing
• Onderhouds- en redundantiestatussen
• Het vereiste betrouwbaarheidsniveau

Gemiddeld vermogen beantwoordt een energievraag.

Ontwerpcapaciteit beantwoordt een operationele vraag.

De faciliteit moet de overeengekomen workload ondersteunen zonder ongeplande throttling, herhaalde overbelasting of het achteraf verwijderen van racks.

PUE is geen elektrische speelruimte

The Green Grid definieert Power Usage Effectiveness als:

PUE = total data-center energy ÷ ICT-equipment energy

PUE beschrijft de overhead van de faciliteit in verhouding tot de IT-belasting. Het is geen algemene veiligheidsfactor en vervangt geen elektrische coördinatie, transiëntenanalyse, redundantieplanning of een compleet ICT-belastingsschema.

Formeel is PUE een energiemetric. Een PUE op het design point toepassen op vermogen kan in de conceptfase nuttig zijn voor capaciteitsplanning, maar blijft een benadering. Een gedetailleerd ontwerp vereist nog altijd elektrische en mechanische belastingsschema's op componentniveau.

Een gemeten jaarlijkse PUE is ook niet noodzakelijkerwijs hetzelfde als een doel-PUE, een ontwerp-PUE of prestatie tijdens de meest veeleisende omgevings- en belastingsomstandigheden.

Neem het volgende, bewust vereenvoudigde voorbeeld.

Een faciliteitstoewijzing van 10 MW, omgezet met een PUE van 1,10, lijkt 9,09 MW voor ICT-apparatuur op te leveren.

Bij een ontwerp-PUE van 1,20 levert dezelfde toewijzing 8,33 MW op.

Dat is ongeveer 760 kW verschil voordat er rekening wordt gehouden met netwerken, opslag, beheersystemen of operationele reserve.

Het voorbeeld suggereert niet dat een van beide PUE's correct is voor een bepaald project. Het laat zien waarom de grondslag openbaar moet worden gemaakt.

ElioVP beweert niet dat één worst-case PUE ieder technisch vraagstuk oplost. We gebruiken conservatieve, transparante ontwerpaannames en valideren vervolgens stroomverdeling, koeling, workloadgedrag, onderhoudssituaties en operationele marge afzonderlijk.

GPU's zijn niet het complete AI-platform

Een GPU alleen traint of serveert geen model.

Een nuttige AI-infrastructuur vereist ook:

• Host CPU's en systeemgeheugen
• Scale-up interconnects
• Scale-out Ethernet of InfiniBand
• Fabricswitches en optische transceivers
• Krachtige opslag
• Capaciteit voor dataset-ingestion en checkpoints
• Management- en control-plane-nodes
• DPU's en beveiligingsdiensten
• Monitoring en orkestratie
• Client- en out-of-bandnetwerken

Vloeistofgekoelde systemen vereisen bovendien een volledige thermische keten: rackinterfaces, CDU's, pompen, watersystemen van de faciliteit, besturing en externe warmteafvoer.

Elk van deze systemen verbruikt stroom, neemt ruimte in beslag, genereert warmte en verhoogt de kosten.

Een voorstel dat vrijwel de volledige ICT-enveloppe aan accelerators toewijst, laat de ondersteunende systemen niet verdwijnen. Ze blijven gewoon buiten het opvallende hoofdcijfer.

Een accelerator die stroom krijgt, kan commercieel nog steeds onproductief zijn wanneer de fabric overbelast raakt, de opslag de workload niet snel genoeg van data voorziet, koelingslimieten power caps afdwingen of het cluster tijdens onderhoud niet beschikbaar blijft.

Een aangedreven GPU is niet noodzakelijkerwijs een productieve GPU.

AMD Helios maakt berekeningen op basis van alleen GPU's achterhaald

AMD Helios is het duidelijkste actuele voorbeeld van waarom capaciteitsplanning op basis van alleen accelerators niet langer werkt.

Het rack-scale ontwerp van Helios integreert 72 AMD Instinct MI455X GPU's met AMD EPYC Venice CPU's, Pensando-netwerken, UALink scale-upconnectiviteit, stroomvoorziening op rackniveau, vloeistofkoeling en ROCm-software. Het gebruikt het dubbelbrede OCP Open Rack Wide-formaat.

Dit is geen conventioneel rack met 72 onafhankelijke GPU's.

Het is een gecoördineerde rack-scale computer.

Een geloofwaardige Helios-implementatie moet het volgende omvatten:

• Volledige rackinvoer
• Host CPU's en geheugen
• Scale-up- en scale-outfabrics
• Externe netwerkswitchcapaciteit
• DPU's en beheerinfrastructuur
• Opslag en checkpoints
• Distributie van vloeistofkoeling
• Resterende ruimtekoeling
• Warmteafvoer van de faciliteit
• Fysieke serviceruimte
• Onderhoudsisolatie
• Software- en energiebeheerbeleid

In juli 2026 brachten AMD en Schneider Electric een gezamenlijk ontwikkeld Helios-infrastructuurreferentieontwerp uit dat rackdichtheden tot 246 kW en modulaire clusters tot 10,4 MW aan IT-belasting ondersteunt.

De waarde van 246 kW is een ondersteunde dichtheid in dat referentieontwerp. Het moet niet worden geïnterpreteerd als een bewering dat elk Helios-rack continu precies 246 kW verbruikt.

Het belang ervan is architectonisch.

Bij die densiteit moeten het elektrische systeem, de vloeistofkoeling, de geometrie van het gebouw, de besturing en het operationele model als één geheel worden ontworpen.

Een aanbieder kan een geloofwaardige Helios-capaciteit niet berekenen door 72 accelerators met het vermogen van één GPU te vermenigvuldigen. Dan blijven de hostsystemen, fabric, netwerken, koeling en ondersteunende infrastructuur buiten beeld die deze accelerators samen tot een werkend AI-platform maken.

AMD heeft aangekondigd dat de levering van Helios aan klanten, waaronder Microsoft, in de tweede helft van 2026 zal beginnen. De infrastructuurvereiste is daarom onmiddellijk en niet theoretisch.

NVIDIA Vera Rubin bevestigt dezelfde richting.

NVIDIA beschrijft Vera Rubin als een platform van vijf racks dat als één AI-supercomputer functioneert. Het combineert NVL72-compute met specifieke CPU-, opslag-, netwerk- en operationele infrastructuur.

Verschillende ecosystemen komen tot dezelfde conclusie:

Het datacenter wordt onderdeel van de computer.

Waarom het realistische voorstel er duurder uit kan zien

Een compleet voorstel kan minder GPU's en hogere initiële kosten bevatten, omdat het meer van het echte project omvat.

Dit kan het volgende bevatten:

• Netwerkfabrics
• Opslagsystemen
• Beheerinfrastructuur
• Volledige vloeistofkoeling
• Apparatuur voor warmteafvoer
• Onderhoudbare stroompaden
• Monitoring en besturing
• Inbedrijfstelling
• Serviceruimte
• Uitbreidingscapaciteit

Een smaller voorstel kan goedkoper lijken omdat deze vereisten zijn uitgesloten, uitgesteld, toegewezen aan de klant of overgelaten aan een gedetailleerd ontwerp.

De kosten verdwijnen niet.

Ze keren later terug als extra schakelapparatuur, grotere busways, extra netwerkracks, opslagupgrades, uitbreiding van de koelinstallatie, permanente power caps, het verwijderen van apparatuur uit racks of een vertraagde ingebruikname.

Het goedkoopste voorstel is soms simpelweg het voorstel waarvan de meeste kosten nog verborgen zijn.

Headroom is niet automatisch verspilling.

Dit kan nodig zijn bij veranderingen in de workload, onderhoud, veeleisende omgevingsomstandigheden, gedeeltelijke beschikbaarheid van koeling, extra netwerken en opslag, onzekerheden bij de inbedrijfstelling of toekomstige rackgeneraties.

Een te grote reserve kan eveneens kapitaal vastzetten. Blind overdimensioneren is dus niet het antwoord.

Het is op bewijs gebaseerde engineering met duidelijk bekendgemaakte aannames.

Wat kopers moeten vragen voordat ze voorstellen vergelijken

Voordat kopers een GPU-per-megawatt-cijfer accepteren, moeten ze het volgende vragen:

• Wat vertegenwoordigt de genoemde megawatt precies?
• Is het GPU-vermogen gebaseerd op component-TDP, gemiddeld verbruik, volledige serverinvoer of volledige rackinvoer?
• Is de PUE jaarlijks, gemeten, doelgericht, seizoensgebonden of een gedefinieerd ontwerppunt?
• Zijn netwerk-, opslag-, beheer- en koelingsondersteunende systemen inbegrepen in de stroom, ruimte en kosten?
• Welke capaciteit blijft er over tijdens onderhoud of de aangegeven faaltoestand?
• Hoe worden aanhoudende workloads, terugkerende stroomwijzigingen en energiebeheerbeleid geëvalueerd?
• Kan de opgegeven configuratie werkelijk in gebruik worden genomen zonder ongeplande throttling?

Als aanbieders deze vragen niet met dezelfde systeemgrenzen kunnen beantwoorden, zijn hun cijfers voor GPU-densiteit niet onderling vergelijkbaar.

ElioVP ontwerpt voor inzetbare compute

Bij ElioVP begint capaciteitsplanning met het volledige AI-platform in plaats van met een geïsoleerde acceleratorspecificatie.

Dat betekent het verbinden van de stroomvoorziening, vloeistofkoeling, rackarchitectuur, netwerken, opslag, beheerinfrastructuur en workloadgedrag in één capaciteitsmodel.

Het betekent ook dat aannames en uitsluitingen zichtbaar moeten worden gemaakt vóór de ondertekening van het contract, en niet na de ingebruikname.

De mogelijkheden van ElioVP omvatten ModFlex modulaire datacenters, hardware met hoge dichtheid, opslag, geavanceerde netwerken en AMD-workloadoptimalisatie via Paiton.

Die combinatie is bijzonder relevant voor Helios.

Een infrastructuur die klaar is voor AMD Helios vraagt meer dan voldoende elektrisch vermogen en leidingen voor vloeistofkoeling. Ze vereist inzicht in de samenhang tussen MI455X-compute, EPYC-hostsystemen, UALink, Pensando-netwerken, opslag, ROCm, workloadgedrag en de fysieke faciliteit.

ElioVP's engineeringteam bestaat ook uit een door het Uptime Institute geaccrediteerde Tier Specialist, die formele Tier Standards-kennis meeneemt in beslissingen over veerkracht, onderhoudbaarheid en operationele vereisten.

Voorbereid zijn voor AMD Helios en NVIDIA Vera Rubin betekent niet dat we beweren dat elk definitief platform in elk gebouw kan worden geïnstalleerd zonder projectspecifieke validatie.

Het betekent dat we het volledige systeem op rack- en podniveau ontwerpen rond de werkelijke locatie, workload, koelarchitectuur, stroomtopologie, regelgeving en uitbreidingsplannen.

Bij ElioVP leggen we liever uit waarom een realistisch getal vandaag lager is dan waarom een onrealistisch getal morgen niet kan worden geleverd.

Productieve compute is de metric die telt

De stroomvereisten voor AI-datacenters kunnen niet worden teruggebracht tot het grootste GPU-aantal dat in een spreadsheet past.

Gemiddeld vermogen is geen ontwerpcapaciteit.

PUE is geen veiligheidsmarge.

Accelerator TDP is geen volledige rackinvoer.

Geïnstalleerde GPU's zijn niet noodzakelijkerwijs inzetbare GPU's.

Vraag niet alleen hoeveel GPU's er in een megawatt passen.

Vraag hoeveel GPU's de volledige faciliteit gelijktijdig van stroom, koeling, netwerk en data kan voorzien, kan onderhouden en betrouwbaar kan laten werken.

Dat aantal kan lager zijn dan de meest agressieve kop.

Dat cijfer heeft ook een veel grotere kans om overeind te blijven na gedetailleerde engineering, commissioning en tests met echte workloads.

ElioVP kan onafhankelijk een AI-datacentercapaciteitsmodel beoordelen, de aannames ervan normaliseren en identificeren welke vereisten wel of niet zijn opgenomen voordat een theoretische GPU-telling een kostbare fysieke beperking wordt.

Veelgestelde vragen

Hoeveel GPU's kan een AI-datacenter per megawatt ondersteunen?

Er bestaat geen universeel aantal.

Het resultaat is afhankelijk van de acceleratorarchitectuur, de volledige server- of rackconfiguratie, de stroomgrens van de faciliteit, PUE, workload, netwerken, opslag, koeling, onderhoudsomstandigheden, redundantie en gerechtvaardigde reserve.

Voor platforms op rackschaal zoals AMD Helios moet de capaciteit worden berekend met behulp van het volledige systeem en de ondersteunende infrastructuur, en niet door één megawatt te delen door het vermogen van een individuele GPU.

Moet een AI-datacenter worden gedimensioneerd op basis van gemiddeld of piek-GPU-vermogen?

Geen van beide waarden is op zichzelf voldoende.

Gemiddeld vermogen helpt om energieverbruik en operationele kosten te ramen. Het technische ontwerp moet daarnaast de maximale aanhoudende vraag, terugkerende vermogenspieken, workloadsynchronisatie, apparatuurlimieten, energiebeheerbeleid en de vereiste betrouwbaarheid evalueren.

De juiste basis is een gevalideerd operationeel bereik in plaats van één gemiddelde of één theoretisch maximum.

Omvat PUE netwerken en opslag?

Netwerken en opslag horen bij de ICT-belasting. Het zijn geen optionele faciliteitsoverheads die genegeerd kunnen worden bij het berekenen van de beschikbare GPU-capaciteit.

PUE beschrijft de relatie tussen de totale energie van de faciliteit en de energie van ICT-apparatuur. Het bepaalt niet hoe de ICT-envelop moet worden verdeeld tussen GPU's, CPU's, netwerk-, opslag- en beheerinfrastructuur.

Waarom verschillen de schattingen van de GPU-capaciteit tussen voorstellen?

Ze gebruiken vaak verschillende definities.

De ene aanbieder vertrekt van het netvermogen, terwijl de andere begint bij de bruikbare ICT-capaciteit. Ook PUE-aannames, de basis voor GPU-vermogen, workloadprofielen, marges voor ondersteunende systemen, onderhoudssituaties en uitbreidingsreserves kunnen verschillen.

Het voorstel met het hogere GPU-aantal kan efficiënter zijn, of het heeft simpelweg minder van het volledige platform geteld.

Wat betekent ‘Helios-Ready’ voor een datacenter?

Een Helios-ready ontwerp houdt rekening met de volledige rack-scale architectuur: GPU's, CPU's, UALink-connectiviteit, Pensando-netwerken, rackvoeding, vloeistofkoeling, externe fabric, opslag, beheer en ROCm-operatie.

Het moet ook geschikt zijn voor het dubbelbrede Open Rack Wide-formaat, servicetoegang, aansluitingen op het faciliteitswater, warmteafvoer en de vereiste onderhoudssituaties.

Dit zou niet moeten betekenen dat een generieke rackpositie eenvoudigweg het label 'AI-ready' krijgt.