High Bandwidth Memory gehört zu den zentralen Spezifikationen eines Beschleunigers für KI- und Machine-Learning-Workloads, weil das Modell und seine Arbeitsdaten hineinpassen müssen. JEDEC veröffentlichte den HBM4-Standard im April 2025, und die ersten kommerziellen HBM4-Auslieferungen wurden im Februar 2026 angekündigt. Dieser Artikel erklärt, was HBM4 gegenüber HBM3E ändert, welche Beschleuniger es nutzen und was es bedeutet, wenn Infrastruktur-Teams KI- und Machine-Learning-Server planen oder kaufen.
Was HBM ist und warum Beschleuniger es nutzen
High Bandwidth Memory ist gestapeltes DRAM, das direkt auf dem Beschleuniger-Package neben dem GPU-Die platziert wird. Eine sehr breite Schnittstelle verbindet die Speicher-Dies mit dem Prozessor: HBM3E nutzt eine 1024-Bit-Schnittstelle, HBM4 verdoppelt das auf 2048 Bit. Die kurze Distanz und die breite Schnittstelle liefern die Bandbreite, die KI-Workloads benötigen.
HBM ist auf dem Beschleuniger-Package integriert. Es ist kein separates Modul, das nachträglich hinzugefügt oder ausgetauscht werden kann, daher sind Speicherkapazität und Bandbreite fixiert, wenn der Beschleuniger gewählt wird. Ein AMD Instinct MI455X trägt laut AMD 432 GB HBM4 über zwölf Stacks; diese Zahl lässt sich nicht erweitern, indem man dem Server mehr Speicher hinzufügt. Systemspeicher, also die DIMMs oder LPDDR des Hosts, ist eine separate Ebene: Das HBM des Beschleunigers enthält das Modell und seine aktiven Arbeitsdaten, während Host-Speicher Data Staging, Preprocessing und Orchestrierung unterstützt.
HBM3E vs. HBM4: Was der neue Standard ändert
JEDEC veröffentlichte JESD270-4, den HBM4-Standard, in 2025. Gegenüber HBM3 verdoppelt er sowohl die Schnittstellenbreite als auch die Anzahl der Kanäle pro Stack. Die Tabelle fasst die wichtigsten Zahlen des Standards zusammen.
| HBM4 nach JEDEC JESD270-4 | Wert |
|---|---|
| Schnittstellenbreite | 2048 Bit (HBM3E: 1024 Bit) |
| Kanäle pro Stack | 32 (HBM3: 16), jeweils mit zwei Pseudo-Kanälen |
| Transferrate pro Pin | bis zu 8 Gb/s |
| Bandbreite pro Stack | bis zu 2 TB/s |
| Stack-Höhen | 4, 8, 12 oder 16 Dies à 24 Gb oder 32 Gb |
| Maximale Kapazität pro Stack | 64 GB (16-high, 32-Gb-Dies) |
Die verdoppelte Schnittstelle erhöht die Gesamtbandbreite bei gleicher Pin-Geschwindigkeit: 2048 Bit bei 8 Gb/s ergeben die bis zu 2 TB/s pro Stack, die der Standard definiert. Die HBM4-Schnittstellendefinition ist rückwärtskompatibel mit HBM3-Controllern, sodass ein einzelner Controller bei Bedarf beide Standards unterstützen kann. Stack-Höhe und Die-Dichte bestimmen die Kapazität pro Stack: Ein 12-high-Stack aus 24-Gb-Dies liefert 36 GB, ein 16-high-Stack aus 32-Gb-Dies 64 GB.
Standard versus Produkt: Warum Datenblätter höhere Zahlen zeigen
Der JEDEC-Standard definiert die Schnittstelle und eine Transferrate von bis zu 8 Gb/s für HBM4. Hersteller liefern Produkte aus, die diese Zahl überschreiten: Samsung kündigte am 12. Februar 2026 an, dass sein kommerzielles HBM4 konstant bei 11,7 Gbps läuft, mit Fähigkeit bis zu 13 Gbps. Die 2 TB/s pro Stack aus dem Standard sind daher nicht die Bandbreite eines ausgelieferten Beschleunigers.
Produkt-Datenblätter geben die Bandbreite an, die ein Beschleuniger tatsächlich hat. NVIDIA spezifiziert bis zu 22 TB/s aggregierte HBM4-Bandbreite für Rubin; AMD spezifiziert 23,3 TB/s für den Instinct MI455X. Beides sind Herstellerangaben für den kompletten Beschleuniger, nicht der theoretische Wert aus dem JEDEC-Dokument. Bei der Planung von Serverkonfigurationen verwendet man die vom Beschleuniger-Hersteller veröffentlichte Bandbreite, nicht die Zahl des Standards.
Dasselbe gilt für die Kapazität. Der Standard erlaubt bis zu 64 GB pro Stack; die Kapazität eines Produkts hängt davon ab, wie viele Stacks der Hersteller auf dem Package platziert und welche Stack-Konfiguration er nutzt. Rubin integriert bis zu 288 GB über acht Stacks, der MI455X 432 GB über zwölf Stacks, was in beiden Fällen 36 GB pro Stack entspricht. Keiner nutzt die 64 GB pro Stack, die der Standard zulässt.
HBM4-GPUs: Welche Beschleuniger HBM4 nutzen
Zwei Beispiele für Beschleuniger mit HBM4 sind NVIDIA Rubin und die AMD Instinct MI400-Serie.
NVIDIA Rubin integriert laut NVIDIA bis zu 288 GB HBM4 pro GPU mit aggregierter Bandbreite bis zu 22 TB/s. NVIDIA gibt an, dass HBM4 die Schnittstellenbreite gegenüber dem HBM3E der vorangegangenen Blackwell-Generation verdoppelt, die NVIDIA mit 8 TB/s angibt. Rubin ist mit der Vera CPU gepaart, die eigene 1,5 TB LPDDR5X-Speicher trägt, kohärent mit der GPU über NVLink-C2C verbunden. CPU-Speicher und GPU-Speicher bleiben zwei separate Ebenen.
AMD Instinct MI455X, vorgestellt am 23. Juli 2026, integriert laut AMD 432 GB HBM4 über zwölf Stacks mit einer Peak-Speicherbandbreite von 23,3 TB/s. AMD spezifiziert ihn als Enhanced Accelerator Module (EAM) mit direkter Flüssigkeitskühlung, ausgelegt für die AMD Helios Rack-Scale-Lösung.
Viele aktuelle Datacenter GPUs, darunter der AMD Instinct MI355X und NVIDIA Blackwell, nutzen HBM3E. Weil HBM auf dem Beschleuniger-Package sitzt, bedeutet der Wechsel von HBM3E zu HBM4 den Wechsel zu einer neuen Beschleuniger-Generation und ihrer Plattform; der Speicher kann nicht allein getauscht werden.
Was HBM4 für die Planung von KI- und GPU-Servern bedeutet
Die HBM-Kapazität pro Beschleuniger ist die erste Beschränkung, wenn Hardware zu einem Modell passt. Parameter allein benötigen je zwei Bytes in BF16, daher braucht ein Modell mit 70 Milliarden Parametern etwa 140 GB, bevor Aktivierungen, der Key-Value-Cache und Framework-Overhead hinzukommen. Wenn die Summe das HBM des Beschleunigers überschreitet, muss das Modell quantisiert, ausgelagert oder über mehrere Beschleuniger verteilt werden, und jede dieser Optionen hat ihren Preis in Genauigkeit oder Durchsatz.
Die Schätzung beginnt mit Parameterzahl und Präzision: eine Milliarde Parameter benötigt 4 GB in FP32, 2 GB in BF16 und 1 GB in INT8. Aktivierungen wachsen mit Batch-Größe und Sequenzlänge, der Key-Value-Cache von Transformer-Modellen wächst mit Context-Length, und das Framework fügt seinen eigenen Overhead hinzu. Die Summe braucht Spielraum, weil längere Eingaben oder größere Batches den Speicherbedarf zur Laufzeit erhöhen.
Die Anzahl der Beschleuniger im GPU Server folgt aus dem Speicherbedarf und der HBM-Kapazität pro Beschleuniger. Wo ein Beschleuniger nicht ausreicht, wird das Modell über mehrere GPUs innerhalb des Servers oder bei größeren Konfigurationen über mehrere Server verteilt. Wie schnell die Beschleuniger dabei Daten austauschen können, hängt wesentlich vom eingesetzten Interconnect ab, nicht vom HBM.
Systemspeicher ist vom HBM getrennt. Host-DIMMs oder das LPDDR der CPU halten Daten, bevor sie zu den Beschleunigern übertragen werden, unterstützen die Orchestrierungsebene und erledigen Preprocessing. Bei der Serverkonfiguration müssen beide Ebenen dimensioniert werden: Beschleuniger-HBM für das Modell und seine Arbeitsdaten, Host-Speicher für Staging und parallele Prozesse. Mehr DIMMs zum Host hinzuzufügen erweitert nicht den Speicher des Beschleunigers; wenn das Modell nicht in HBM passt, muss es beispielsweise quantisiert, ausgelagert oder über mehrere Beschleuniger verteilt werden.
Kühlung gehört in denselben Planungsschritt. AMD spezifiziert den MI455X mit direkter Flüssigkeitskühlung und legt ihn für seine Helios Rack-Scale-Lösung aus, daher muss das Rechenzentrum Flüssigkeitskühlung auf Rack-Ebene bereitstellen, bevor solche Systeme installiert werden können.
Bei unseren bisher ausgelieferten Systemen mit HBM3E-Beschleunigern zeigt sich in der Praxis, dass die HBM-Kapazität immer im Zusammenhang mit Modellgröße, Präzision und Workload dimensioniert werden sollte. Das gilt unabhängig davon, ob beispielsweise ein NVIDIA GPU Server, Supermicro KI Server oder Gigabyte GPU Server eingesetzt wird: Diese Faktoren bestimmen wesentlich, welche Beschleuniger und wie viele GPUs für das jeweilige System benötigt werden.
HBM4 vs. HBM4E und HBM3E: Die drei Generationen im Vergleich
Die Tabelle stellt HBM3E, HBM4 und HBM4E nebeneinander. Für HBM4 stehen die Werte des JEDEC-Standards; für HBM3E und HBM4E nennt sie Herstellerangaben als Beispiele, für HBM3E von Micron und für HBM4E von Samsung.
| HBM3E | HBM4 | HBM4E | |
|---|---|---|---|
| Status | im Einsatz in aktuellen Beschleunigern (z. B. AMD Instinct MI355X, NVIDIA Blackwell) | JEDEC-Standard JESD270-4 (April 2025); Massenproduktion bei Samsung seit Februar 2026 | Samples bei Samsung seit Mai 2026; Massenproduktion abgestimmt auf Kundenzeitpläne |
| Schnittstelle | 1024 Bit (Micron) | 2048 Bit (JEDEC) | in Samsungs Ankündigung nicht genannt |
| Transferrate pro Pin | mehr als 9,2 Gb/s (Micron) | bis zu 8 Gb/s (JEDEC); 11,7 Gb/s (Samsung) | 14 Gb/s stabil, bis zu 16 Gb/s (Samsung) |
| Bandbreite pro Stack | mehr als 1,2 TB/s (Micron) | bis zu 2 TB/s (JEDEC) | bis zu 3,6 TB/s (Samsung) |
| Kapazität pro Stack | 24 GB (8-high), 36 GB (12-high) (Micron) | bis zu 64 GB (JEDEC) | 48 GB (12 Lagen); geplant 32 GB (8 Lagen) und 64 GB (16 Lagen) (Samsung) |
| Beschleuniger (Beispiele) | AMD Instinct MI355X, NVIDIA Blackwell | NVIDIA Rubin, AMD Instinct MI455X | in den verwendeten Quellen noch keine angekündigt |
HBM4E ist der nächste Schritt nach HBM4. Samsung kündigte am 29. Mai 2026 an, die ersten 12-lagigen HBM4E-Samples an Kunden auszuliefern, mit einer stabilen Pin-Geschwindigkeit von 14 Gb/s, skalierbar bis 16 Gb/s, und bis zu 3,6 TB/s pro Stack. Laut Samsung steigt die Energieeffizienz gegenüber der Vorgängergeneration um 16 Prozent. Die Massenproduktion plant Samsung abgestimmt auf Kundenzeitpläne. Samples sind keine Produkte: Samsungs Ankündigung nennt keine Termine für Beschleuniger mit HBM4E.
Für die Serverplanung zählt der HBM4-Speicher, der in aktuellen Beschleunigern wie NVIDIA Rubin und AMD Instinct MI455X verbaut ist; HBM4E betrifft erst eine kommende Beschleunigergeneration. Wie beim Wechsel von HBM3E zu HBM4 lässt sich auch HBM4E nicht nachrüsten, weil der Speicher auf dem Beschleuniger-Package sitzt.
HBM-Kapazität wird mit dem Beschleuniger entschieden
HBM4 verdoppelt die Schnittstellenbreite und Kanalzahl gegenüber HBM3. Ausgelieferte Produkte überschreiten die 8 Gb/s Transferrate des Standards: Samsungs kommerzielles HBM4 läuft bei 11,7 Gbps, und die Beschleuniger-Hersteller spezifizieren bis zu 22 TB/s (NVIDIA Rubin) und 23,3 TB/s (AMD Instinct MI455X).
Für die Planung von KI-Servern ist die HBM-Kapazität fixiert, wenn der Beschleuniger gewählt wird. Der Speicher sitzt auf dem Beschleuniger-Package und kann nicht nachträglich erweitert werden; ein Modell, das mehr Speicher braucht, als der Beschleuniger bietet, muss quantisiert, ausgelagert oder verteilt werden. Systemspeicher auf dem Host ist eine separate Ebene, und DIMMs hinzuzufügen erweitert HBM nicht. Bei der Auswahl einer Datacenter GPU müssen Infrastruktur-Teams daher HBM-Kapazität und Bandbreite passend zum Workload dimensionieren und gleichzeitig Kühlung und Rack-Integration berücksichtigen.
Bei KI GPUs für Machine Learning und generative KI spielen neben der Rechenleistung insbesondere Modellgröße, Präzision, HBM-Kapazität und Speicherbandbreite eine Rolle. Aus unserer Praxis mit KI- und GPU-Servern wissen wir, dass für die Systemauslegung nicht allein die Rechenleistung der GPU entscheidend ist. HBM-Kapazität und -Bandbreite müssen ebenso zum Workload passen wie Host-Speicher, Interconnect, Stromversorgung und Kühlung. Wir beraten Sie bei der Auswahl der passenden Server GPUs und unterstützen Sie bei Kompatibilitätsfragen, Plattformauswahl und Konfiguration. Gemeinsam mit unseren Ingenieuren konfigurieren wir die passende Hardware für Ihre KI- und Machine-Learning-Workloads – sprechen Sie uns an.
Online Marketing Managerin
