Nvidia NVHBM Moves the Memory Controller into the HBM Stack for AI GPUs

Nvidia hat mit NVHBM eine neue HBM-Variante angekündigt, bei der der Speichercontroller nicht mehr auf dem Rechenchip sitzt, sondern in den HBM-Stack wandert. Das soll Bandbreite und Chipfläche für KI-Beschleuniger verbessern – für Spieler bleibt vorerst alles beim Alten, denn Geforce-Grafikkarten setzen weiterhin auf GDDR7.

NVHBM verlagert die Speichersteuerung in den HBM-Stack

Mit NVHBM baut Nvidia eine Erweiterung für seine Plattform NVLink Fusion. Partner erhalten dafür ein eigenes HBM-Base-Die sowie eine angepasste physische Schnittstelle („PHY“). Im Unterschied zu herkömmlichem HBM4, bei dem die gestapelten DRAM-Lagen von der untersten Logikschicht (dem Base-Die) getrennt sind, setzt Nvidia genau diese Logikschicht neu auf.

Der entscheidende Umbau: Neben der Ansteuerung der DRAM-Lagen wandert auch der Speichercontroller in den dreidimensionalen HBM-Aufbau. Auf dem Grafik- oder Rechenchip bleibt dadurch nur noch eine deutlich schmalere Schnittstelle zurück – was dem Hersteller zufolge sowohl Bandbreite als auch nutzbare Chipfläche zugutekommen soll.

Als Vergleich nennt das Unternehmen AMDs Ansatz bei der Radeon-RX-7000-Serie (RDNA 3): Dort wurden Cache und Speichercontroller in eigenständige Chiplets neben dem Hauptchip ausgelagert. Nvidia verschiebt diese Logik eine Ebene weiter nach unten, direkt in den Speicherstapel.

Mehr Bandbreite, weniger Speicherverbrauch – zuerst für Hyperscaler

NVHBM richtet sich laut Nvidia vor allem an Hyperscaler, die eigene KI-Beschleuniger entwickeln. In solchen Designs mussten HBM-Interfaces bislang einzeln mit den Speicherherstellern validiert werden. Nvidia will das vereinfachen, indem es eine standardisierte NVHBM-Implementierung bereitstellt, die mehrere Speicherhersteller abdecken und gemeinsam validiert werden soll.

Wichtig dabei: Nvidia bezeichnet das Ganze als Custom-HBM-Ansatz, fertigt die DRAM-Stapel aber nicht selbst. Die etablierten DRAM-Hersteller liefern weiterhin die Speicherstapel; Nvidia besetzt vor allem die Logikschicht darunter.

Genannte Zielwerte: bis zu 30% mehr Bandbreite und 15% weniger Leistungsaufnahme

Nvidia nennt für NVHBM bis zu 30 Prozent mehr Speicherbandbreite pro Stapel gegenüber standardisiertem HBM4E. Gleichzeitig sollen die Speicher-Subsysteme bei gleicher Ausrichtung bis zu 15 Prozent weniger Leistungsaufnahme benötigen. Als besonders relevant nennt Nvidia dabei die Bandbreite, weil KI-Beschleuniger häufig stärker an der Speicheranbindung als an der Rechenleistung hängen.

• NVHBM: bis zu 30% mehr Speicherbandbreite pro Stapel (gegenüber HBM4E)
• NVHBM: bis zu 15% geringere Leistungsaufnahme des Speicher-Subsystems
• PHY plus Support-Logik: bis zu 67% weniger Bedarf laut Nvidia gegenüber JEDEC-Referenzwerten für HBM4E
• Layout-Effekt: bis zu 80% mehr nutzbares Silizium im Gesamtlayout (durch Entschärfung der Verdrahtung)

Für die IT-Praxis rechnet Nvidia in einer Modellrechnung mit einem Rechenzentrums-Szenario: Bei einer Anlage mit 1 Gigawatt Anschlussleistung und XPU-Prozessoren mit je 2.000 Watt sollen die eingesparten 15 Prozent Speicherleistung Platz für bis zu 15.000 zusätzliche KI-Beschleuniger schaffen. Auch hier gilt: Die Werte stammen aus Nvidias eigener Modellrechnung.

Zahlen zur Chipfläche schwanken in den eigenen Beiträgen

Beim Thema „wie viel Platz NVHBM auf dem Rechenchip freimacht“ nennt Nvidia in zwei Blogbeiträgen unterschiedliche Werte: In einem Unternehmensblog und in einer Übersichtstabelle im Entwickler-Blog nennt Nvidia bis zu 25 Prozent, im Fließtext desselben Entwickler-Beitrags dagegen bis zu 30 Prozent. Beide Angaben stehen ohne direkten Kommentar nebeneinander.

In einer weiteren Zusammenfassung im Rack-Maßstab rechnet Nvidia erneut mit 25 Prozent und kommt im Zusammenspiel mit NVLink Fusion auf 30 Prozent mehr Leistung pro XPU. Laut Nvidia gilt außerdem eine wichtige Abgrenzung: Die 67 Prozent beziehen sich ausschließlich auf PHY und zugehörige Support-Logik, nicht auf den Hauptchip. Die Größenordnung sei daher belastbarer als die exakte Zahl.

Amazon setzt NVHBM zuerst ein – Geforce bleibt bei GDDR7

Als erster Partner setzt Amazon über seine Chiptochter Annapurna Labs NVHBM ein. Gemeinsam mit NVLink Fusion soll die Technik in der kommenden Beschleuniger-Generation Trainium4 auftauchen. Annapurna Labs nennt das einen „neuen architektonischen Ansatz“ für Bandbreite und Effizienz.

Für Spieler ist der wichtigste Nebensatz: NVHBM soll auf derselben Technik basieren, die Nvidia für künftige GPUs einsetzen will. Dennoch nennt Nvidia kein konkretes Produkt, und aus dem Kontext wird erwartet, dass es sich zunächst um Rechenzentrumsbeschleuniger handelt – denn HBM steckt in Geforce-Grafikkarten traditionell nicht in der Rolle, die GDDR7 dort einnimmt.

Indirekt könnte die Umstellung den Spielemarkt aber trotzdem berühren: Wenn Nvidia steigende Kapazitäten für HBM-Designs stärker an eigene Base-Die-Entwürfe bindet, könnte Fertigungskapazität bei HBM für KI-Beschleuniger wachsen, während entsprechende Linien dann weniger für GDDR7 und DDR5 verfügbar sind.

Was jetzt zu beobachten ist

Für die nächsten Schritte wird vor allem entscheidend sein, ob Nvidias NVHBM-Designs irgendwann konkret in Geforce-Produkten ankommen – bislang gibt es dafür keine direkte Bestätigung. Parallel dürfte spannend sein, ob die genannten Speicher- und Effizienzvorteile in realen KI-Beschleuniger-Implementierungen den Modellrechnungen entsprechen und wie stark Hyperscaler die standardisierte NVHBM-Anbindung tatsächlich in ihren Validierungs- und Integrationsprozessen vereinfachen.