Samsung is overgestapt op een 4nm logic-proces voor de fabricage van de HBM base die in HBM4 en HBM4E. Deze wijziging vermindert het stroomverbruik en creëert extra ruimte op de die, die Samsung in drie fasen wil benutten:
- Fase 1: Integratie van de geheugencontroller en SRAM voor betere foutcorrectie en efficiëntere communicatie met de compute die.
- Fase 2: Toevoeging van sensoren voor telemetrie, on-die testblokken, mogelijkheden voor geheugenuitbreiding en experimenten met in-memory compute.
- Fase 3: De meest ambitieuze stap, waarbij HBM-dies direct op de compute-chip worden gestapeld (zHBM), hoewel dit grote thermische uitdagingen met zich meebrengt.
Het succes van deze innovaties hangt mede af van de bereidheid van chipmakers om af te wijken van standaard interfaces en de effectiviteit van de koeling bij 3D-stapeling.
Hot Chips 2026: Samsung en de mogelijkheden van de HBM Base Die
De overstap naar een logic node
HBM, of High Bandwidth Memory, stapelt meerdere DRAM-dies bovenop een base die. De dies communiceren met elkaar via TSV's (Through-Silicon Vias), terwijl de base die via een interposer communiceert met de compute die die het geheugen gebruikt. Het verhogen van de bandbreedte voor een nieuwe HBM-generatie vereist een opschaling van de bandbreedte tussen de DRAM-dies en de base die, evenals de bandbreedte van de base die naar de host.
Denser en meer TSV's kunnen het eerste doel relatief eenvoudig bereiken. Dat laatste is uitdagender, omdat de fysieke interface tussen de base die en de host al de grootste verbruiker van het oppervlak van de base die is. Het verhogen van het aantal datapins verergert dit oppervlakprobleem en is nadelig voor het stroomverbruik. Samsung merkt op dat hoewel elke HBM-generatie de energie-efficiëntie verbetert, het totale geheugenverbruik blijft stijgen.
Samsung heeft deze uitdaging aangepakt door over te stappen op een logic node, in plaats van de base die te fabriceren op een DRAM-node. HBM4 en HBM4E maken nu gebruik van hun 4nm logic-proces. Een logic node helpt de toename van het stroomverbruik te beperken en biedt een verbeterde dichtheid, wat andere optimalisatiemogelijkheden opent. Na de overstap naar een logic node ontdekte Samsung dat er veel ongebruikt oppervlak op de base die overbleef. Omdat de grootte van de base die wordt bepaald door de daarop gestapelde DRAM-die, kan de base die niet kleiner worden gemaakt. Daarom onderzoekt Samsung manieren om dit oppervlak nuttig in te zetten. De presentatie van Samsung verdeelt deze mogelijkheden in drie fasen.
(C-die = DRAM-dies. B-die = base die. Het verplaatsen van de B-die naar een logic node verlaagt het stroomverbruik.)
Fase 1: Integratie van de geheugencontroller en SRAM
De eerste fase onderzoekt het verplaatsen van de geheugencontroller naar de HBM base die. Traditioneel is DRAM relatief "dom" en is er een host-geheugencontroller nodig om lage-niveau details te beheren, zoals het prechargen van rijen, het schakelen van de bus tussen lees- en schrijfmodus, en het verversen van DRAM-cellen. De geheugencontroller ontvangt basisverzoeken om data (bijvoorbeeld: "geef me data van dit adres"), plaatst deze verzoeken in een wachtrij en probeert ze zo in te plannen dat de prestaties worden gemaximaliseerd, terwijl de correctheid van de geheugenvolgorde behouden blijft.
Samsung wil deze functies naar de base die brengen en in plaats van de standaard HBM-interface een aangepaste die-to-die interface naar de compute die gebruiken. Hiermee hoopt Samsung het PHY-oppervlak op zowel de compute die als de HBM base die te verminderen. Het bespaarde PHY-oppervlak zou kunnen worden gebruikt om de geheugencontroller te huisvesten, waardoor de verplaatsing vanuit het perspectief van de HBM base die in feite "gratis" is.
Indien Samsung dit realiseert, zou men zich een hypothetisch product kunnen voorstellen dat werkt als Intel's Sapphire Rapids, maar met HBM-dies die direct het interne mesh-protocol van de CPU begrijpen. Een nadeel kan zijn dat aangepaste HBM meer integratie-inspanning vereist, omdat het niet langer communiceert met een standaard geheugencontroller. Samsung zou kunnen proberen een aangepast protocol te standaardiseren om dit op te lossen, hoewel hun exacte plannen nog onbekend zijn.
daarnaast onderzoekt Samsung de integratie van een blok SRAM in de base die. Dit blok zou hermappingsinformatie opslaan om defecte DRAM-cellen te omzeilen. Voorheen gebeurde dit in de DRAM-dies, maar dat bood beperkte flexibiliteit. Vermoedelijk kunnen rij-reserves (row spares) alleen defecte rijen op dezelfde die vervangen, en hetzelfde geldt voor kolom-reserves. Een SRAM-gebaseerde hermappingstabel zou individuele cellen in rij-/kolomreserves kunnen gebruiken om elke defecte cel te vervangen. Het is ook aannemelijk dat reserves op de ene die gebruikt kunnen worden om defecte cellen op een andere die te vervangen.
Fase 2: Telemetrie, Testen en Memory Expansion
Fase 2 richt zich op het benutten van nog meer ongebruikt oppervlak van de base die, aangezien er blijkbaar ruimte overblijft, zelfs na de integratie van de geheugencontroller.
- Sensoren en Telemetrie: Samsung wil meer sensoren integreren, zodat HBM betere telemetrie kan bieden over temperatuur en voltage.
- Testblokken: Om de yields en testdekking te verbeteren, kan oppervlak worden gebruikt voor een testblok. Dit blok genereert testpatronen, vergelijkbaar met memtest, maar zonder dat daar een host voor nodig is.
- Geheugenuitbreiding: De base die kan communiceren met extern geheugen en zo fungeren als een soort IO-die. Aangezien de behoefte aan geheugencapaciteit enorm is en HBM-capaciteit beperkt kan worden door de interposer- of chipgrootte, zou het plaatsen van externe geheugen-PHY's op het reserve-oppervlak van de HBM base die een aantrekkelijke manier zijn om een compute die met nog meer geheugen te verbinden.
- In-memory compute: Ook in-memory compute komt aan de orde. Het reserve-oppervlak kan rekenkracht huisvesten. Er is echter scepsis over near-memory compute, omdat die rekenkracht gebonden is aan een specifieke regio van het geheugen. Dit zou leiden tot uitdagingen die vergelijkbaar zijn met NUMA-setups, maar dan in extremere vorm, omdat elke Processing Element (PE) die op de HBM base die is geïntegreerd, waarschijnlijk geen grote caches heeft die data van andere geheugendies kunnen vasthouden. Mogelijk is dit wel nuttig voor het voorbewerken van data, zoals het uitvoeren van formaatconversies terwijl data naar de interne opslag van de compute die wordt geladen.
Fase 3: 3D-stapeling en zHBM
Fase 3 richt zich op agressievere oplossingen. Samsung onderzoekt het stapelen van HBM-dies direct bovenop een compute-chip, vergelijkbaar met hoe mobiele SoC's geheugen stapelen met package-on-package form factors.
De thermische huishouding zal hierbij waarschijnlijk een enorme uitdaging vormen. AMD heeft verschillende generaties besteed aan het verbeteren van de thermiek bij hun 3D cache-stapeling. De varianten van Zen 3, Zen 4 en Zen 5 met gestapelde cache vertoonden significant lagere kloksnelheden dan hun standaardtegenhangers, en dat met slechts één die erbovenop. HBM stapelt veel meer dies, wat de koeling verder compliceert.
Als de thermische problemen worden opgelost, zou deze zHBM-oplossing alle potentiële voordelen van 3D-stapeling kunnen bieden. TSV's verbruiken minder stroom en oppervlak dan 2D-PHY's. Elke besparing in stroom of oppervlak kan worden teruggegeven aan meer rekenkracht, mits die rekenkracht geen hotspots creëert die moeilijk te koelen zijn door een stapel HBM-dies.
Slotbeschouwingen
Samsung en andere geheugenfabrikanten onderzoeken veel spannende mogelijkheden met HBM, ongetwijfeld gedreven door de explosie in de vraag naar DRAM. Veel van Samsung's voorstellen draaien om een nauwere koppeling tussen DRAM en de compute-unit die het gebruikt. Dit kan moeilijk te realiseren zijn als makers van compute-chips HBM uit meerdere bronnen (multi-source) willen betrekken, omdat Samsung dan andere DRAM-leveranciers aan boord moet krijgen voor hun aangepaste oplossingen.
Sommige doelen uit fase 1 lijken zeer haalbaar; betere on-die tests en RAS-faciliteiten vereisen bijvoorbeeld geen speciale aandacht van een aangesloten compute die. De plannen voor fase 2 en fase 3 lijken ambitieuzer en uitdagender. Wat er ook gebeurt, het zal interessant zijn om te volgen.
Hot Chips 2026: Samsung en de mogelijkheden van de HBM Base Die
De overstap naar een logic node
HBM, of High Bandwidth Memory, stapelt meerdere DRAM-dies bovenop een base die. De dies communiceren met elkaar via TSV's (Through-Silicon Vias), terwijl de base die via een interposer communiceert met de compute die die het geheugen gebruikt. Het verhogen van de bandbreedte voor een nieuwe HBM-generatie vereist een opschaling van de bandbreedte tussen de DRAM-dies en de base die, evenals de bandbreedte van de base die naar de host.
Denser en meer TSV's kunnen het eerste doel relatief eenvoudig bereiken. Dat laatste is uitdagender, omdat de fysieke interface tussen de base die en de host al de grootste verbruiker van het oppervlak van de base die is. Het verhogen van het aantal datapins verergert dit oppervlakprobleem en is nadelig voor het stroomverbruik. Samsung merkt op dat hoewel elke HBM-generatie de energie-efficiëntie verbetert, het totale geheugenverbruik blijft stijgen.
Samsung heeft deze uitdaging aangepakt door over te stappen op een logic node, in plaats van de base die te fabriceren op een DRAM-node. HBM4 en HBM4E maken nu gebruik van hun 4nm logic-proces. Een logic node helpt de toename van het stroomverbruik te beperken en biedt een verbeterde dichtheid, wat andere optimalisatiemogelijkheden opent. Na de overstap naar een logic node ontdekte Samsung dat er veel ongebruikt oppervlak op de base die overbleef. Omdat de grootte van de base die wordt bepaald door de daarop gestapelde DRAM-die, kan de base die niet kleiner worden gemaakt. Daarom onderzoekt Samsung manieren om dit oppervlak nuttig in te zetten. De presentatie van Samsung verdeelt deze mogelijkheden in drie fasen.
(C-die = DRAM-dies. B-die = base die. Het verplaatsen van de B-die naar een logic node verlaagt het stroomverbruik.)
Fase 1: Integratie van de geheugencontroller en SRAM
De eerste fase onderzoekt het verplaatsen van de geheugencontroller naar de HBM base die. Traditioneel is DRAM relatief "dom" en is er een host-geheugencontroller nodig om lage-niveau details te beheren, zoals het prechargen van rijen, het schakelen van de bus tussen lees- en schrijfmodus, en het verversen van DRAM-cellen. De geheugencontroller ontvangt basisverzoeken om data (bijvoorbeeld: "geef me data van dit adres"), plaatst deze verzoeken in een wachtrij en probeert ze zo in te plannen dat de prestaties worden gemaximaliseerd, terwijl de correctheid van de geheugenvolgorde behouden blijft.
Samsung wil deze functies naar de base die brengen en in plaats van de standaard HBM-interface een aangepaste die-to-die interface naar de compute die gebruiken. Hiermee hoopt Samsung het PHY-oppervlak op zowel de compute die als de HBM base die te verminderen. Het bespaarde PHY-oppervlak zou kunnen worden gebruikt om de geheugencontroller te huisvesten, waardoor de verplaatsing vanuit het perspectief van de HBM base die in feite "gratis" is.
Indien Samsung dit realiseert, zou men zich een hypothetisch product kunnen voorstellen dat werkt als Intel's Sapphire Rapids, maar met HBM-dies die direct het interne mesh-protocol van de CPU begrijpen. Een nadeel kan zijn dat aangepaste HBM meer integratie-inspanning vereist, omdat het niet langer communiceert met een standaard geheugencontroller. Samsung zou kunnen proberen een aangepast protocol te standaardiseren om dit op te lossen, hoewel hun exacte plannen nog onbekend zijn.
daarnaast onderzoekt Samsung de integratie van een blok SRAM in de base die. Dit blok zou hermappingsinformatie opslaan om defecte DRAM-cellen te omzeilen. Voorheen gebeurde dit in de DRAM-dies, maar dat bood beperkte flexibiliteit. Vermoedelijk kunnen rij-reserves (row spares) alleen defecte rijen op dezelfde die vervangen, en hetzelfde geldt voor kolom-reserves. Een SRAM-gebaseerde hermappingstabel zou individuele cellen in rij-/kolomreserves kunnen gebruiken om elke defecte cel te vervangen. Het is ook aannemelijk dat reserves op de ene die gebruikt kunnen worden om defecte cellen op een andere die te vervangen.
Fase 2: Telemetrie, Testen en Memory Expansion
Fase 2 richt zich op het benutten van nog meer ongebruikt oppervlak van de base die, aangezien er blijkbaar ruimte overblijft, zelfs na de integratie van de geheugencontroller.
- Sensoren en Telemetrie: Samsung wil meer sensoren integreren, zodat HBM betere telemetrie kan bieden over temperatuur en voltage.
- Testblokken: Om de yields en testdekking te verbeteren, kan oppervlak worden gebruikt voor een testblok. Dit blok genereert testpatronen, vergelijkbaar met memtest, maar zonder dat daar een host voor nodig is.
- Geheugenuitbreiding: De base die kan communiceren met extern geheugen en zo fungeren als een soort IO-die. Aangezien de behoefte aan geheugencapaciteit enorm is en HBM-capaciteit beperkt kan worden door de interposer- of chipgrootte, zou het plaatsen van externe geheugen-PHY's op het reserve-oppervlak van de HBM base die een aantrekkelijke manier zijn om een compute die met nog meer geheugen te verbinden.
- In-memory compute: Ook in-memory compute komt aan de orde. Het reserve-oppervlak kan rekenkracht huisvesten. Er is echter scepsis over near-memory compute, omdat die rekenkracht gebonden is aan een specifieke regio van het geheugen. Dit zou leiden tot uitdagingen die vergelijkbaar zijn met NUMA-setups, maar dan in extremere vorm, omdat elke Processing Element (PE) die op de HBM base die is geïntegreerd, waarschijnlijk geen grote caches heeft die data van andere geheugendies kunnen vasthouden. Mogelijk is dit wel nuttig voor het voorbewerken van data, zoals het uitvoeren van formaatconversies terwijl data naar de interne opslag van de compute die wordt geladen.
Fase 3: 3D-stapeling en zHBM
Fase 3 richt zich op agressievere oplossingen. Samsung onderzoekt het stapelen van HBM-dies direct bovenop een compute-chip, vergelijkbaar met hoe mobiele SoC's geheugen stapelen met package-on-package form factors.
De thermische huishouding zal hierbij waarschijnlijk een enorme uitdaging vormen. AMD heeft verschillende generaties besteed aan het verbeteren van de thermiek bij hun 3D cache-stapeling. De varianten van Zen 3, Zen 4 en Zen 5 met gestapelde cache vertoonden significant lagere kloksnelheden dan hun standaardtegenhangers, en dat met slechts één die erbovenop. HBM stapelt veel meer dies, wat de koeling verder compliceert.
Als de thermische problemen worden opgelost, zou deze zHBM-oplossing alle potentiële voordelen van 3D-stapeling kunnen bieden. TSV's verbruiken minder stroom en oppervlak dan 2D-PHY's. Elke besparing in stroom of oppervlak kan worden teruggegeven aan meer rekenkracht, mits die rekenkracht geen hotspots creëert die moeilijk te koelen zijn door een stapel HBM-dies.
Slotbeschouwingen
Samsung en andere geheugenfabrikanten onderzoeken veel spannende mogelijkheden met HBM, ongetwijfeld gedreven door de explosie in de vraag naar DRAM. Veel van Samsung's voorstellen draaien om een nauwere koppeling tussen DRAM en de compute-unit die het gebruikt. Dit kan moeilijk te realiseren zijn als makers van compute-chips HBM uit meerdere bronnen (multi-source) willen betrekken, omdat Samsung dan andere DRAM-leveranciers aan boord moet krijgen voor hun aangepaste oplossingen.
Sommige doelen uit fase 1 lijken zeer haalbaar; betere on-die tests en RAS-faciliteiten vereisen bijvoorbeeld geen speciale aandacht van een aangesloten compute die. De plannen voor fase 2 en fase 3 lijken ambitieuzer en uitdagender. Wat er ook gebeurt, het zal interessant zijn om te volgen.
Groetjes,