CXL Memory ermöglicht die Erweiterung des CPU-Arbeitsspeichers kompatibler Server über die Kapazitätsgrenzen herkömmlicher RAM-Steckplätze hinaus. Wenn die maximal unterstützte lokale DDR5-Speicherkapazität eines KI-Servers erreicht ist und speicherintensive KI-Workloads zusätzlichen Arbeitsspeicher benötigen, bietet CXL Memory Expansion eine mögliche Lösung.
CXL (Compute Express Link) ist ein PCIe-basierter Interconnect-Standard, über den zusätzliche Speicherkapazität bereitgestellt werden kann. Anders als herkömmlicher Server-RAM werden CXL Memory Module beziehungsweise Speichererweiterungsgeräte über kompatible CXL-Anbindungen statt über die direkten DIMM-Speicherkanäle der CPU angebunden. Dadurch lässt sich der CPU-seitig adressierbare Systemspeicher erweitern, ohne zusätzliche RAM-Steckplätze zu benötigen. CXL RAM ergänzt dabei den lokalen DDR5-Arbeitsspeicher, ersetzt ihn jedoch aufgrund unterschiedlicher Latenz- und Bandbreiteneigenschaften nicht vollständig.
Dieser Artikel erklärt, was CXL Memory ist, wie die Speichererweiterung funktioniert, welche Unterschiede zu herkömmlichem Server-RAM bestehen und welche KI-Workloads davon profitieren können. Außerdem erfahren Sie, welche Serverplattformen CXL unterstützen und unter welchen Voraussetzungen sich CXL Memory Expansion aus Sicht unserer Server-Experten für speicherintensive Anwendungen lohnen kann.
Was ist CXL Memory und wie wird es an das System angebunden?
CXL Memory ist kein neuer DRAM-Chip-Typ. Es ist Speicher, auf den über das Compute-Express-Link-Protokoll zugegriffen wird – ein cache-kohärenter Interconnect-Standard, der über kompatible PCIe-basierte Verbindungen läuft. Während herkömmliche DDR5-Speichermodule in dedizierte DIMM-Steckplätze eingesteckt werden, die direkt mit den Speicherkanälen der Server CPU verbunden sind, werden CXL Memory Module und Erweiterungskarten über CXL-fähige PCIe-Slots oder spezialisierte Formfaktoren wie EDSFF E3.S angebunden. Bei entsprechender Plattformunterstützung können sie dem Betriebssystem als zusätzlicher Systemspeicher bereitgestellt werden. Die CXL-Spezifikation definiert drei Protokolltypen. CXL.io behandelt I/O-Traffic, ähnlich wie Standard-PCIe. CXL.cache ermöglicht es einem Gerät, Host-Speicher zu cachen. CXL.mem – der Typ, der für die Speichererweiterung relevant ist – ermöglicht es einer Host-CPU, auf Speicher auf einem CXL-Gerät mit Load- und Store-Semantik zuzugreifen, wobei die vorgesehenen Kohärenzmechanismen zwischen Host und CXL-Gerät genutzt werden.
Diese Speicherzugriffsarchitektur unterscheidet CXL Memory von einem Block-Storage-Gerät oder lokalem HBM einer GPU: Die CPU kann auf CXL-angebundenen Speicher als Systemspeicher zugreifen, ohne explizite DMA-Transfers auf Anwendungsebene durchführen zu müssen. Die Bereitstellung erfordert jedoch geeignete Firmware- und Betriebssystemunterstützung. Für CXL Memory Expansion werden insbesondere Type-3-CXL-Geräte eingesetzt. Dabei handelt es sich um Memory-Expander – Erweiterungskarten oder Module, die Speicherkapazität, aber keine eigene Rechenleistung bereitstellen. Sie werden über kompatible CXL-Anbindungen angeschlossen und stellen ihren DRAM dem Host zur Verfügung. Type-2-Geräte kombinieren dagegen Compute-Beschleunigung mit geräteseitigem Speicher. Die reine Speichererweiterung basiert auf Type 3.
Wie sich CXL Memory von herkömmlichem Server-RAM unterscheidet
Der architektonische Unterschied zwischen CXL Memory und DDR5 RDIMMs liegt im Zugriffspfad. DDR5-Speicher sitzt auf dedizierten Kanälen, die direkt mit dem integrierten Speichercontroller der CPU verbunden sind. Auf Intel-Xeon-6- oder AMD-EPYC-9005-Plattformen stehen mehrere DDR5-Speicherkanäle pro Socket zur Verfügung, die zusammen eine theoretische Speicherbandbreite von mehreren hundert Gigabyte pro Sekunde ermöglichen. Die unterstützte Datenrate und die tatsächlich erreichbare Bandbreite hängen von Prozessor, DIMM-Typ, Bestückung und Serverplattform ab. CXL RAM wird dagegen über eine kompatible PCIe-basierte Verbindung angebunden und weist gegenüber lokalem DDR5-RAM in der Regel höhere Zugriffslatenzen auf. Selbst über PCIe-5.0-x16-Links – die eine theoretische Übertragungsbandbreite von rund 63 GB/s pro Richtung bieten – entsteht durch den zusätzlichen Zugriffspfad eine höhere Latenz. Die tatsächlichen Zugriffszeiten hängen vom CXL-Gerät, der Plattformtopologie, möglichen CXL-Switches und dem Zugriffsmuster ab. Ein allgemeingültiger Nanosekundenbereich lässt sich deshalb nicht festlegen.
Auch die Bandbreite verhält sich anders. Während mehrere DDR5-Speicherkanäle parallel genutzt werden können, ist die CXL-Memory-Bandbreite durch die PCIe-Link-Breite und die Anzahl der Geräte, die sich die verfügbare Anbindung teilen, begrenzt. Ein CXL-Memory-Expander auf einem einzelnen PCIe-5.0-x16-Link verfügt theoretisch über rund 63 GB/s pro Richtung. Bei einer x8-Anbindung halbiert sich diese theoretische Link-Bandbreite. Die tatsächlich nutzbare Speicherbandbreite kann aufgrund von Protokoll-Overhead und Geräteeigenschaften geringer ausfallen. CXL Memory ersetzt DDR5-RDIMMs daher nicht, sondern erweitert die verfügbare Speicherkapazität um eine zusätzliche Speicherebene. Anwendungen mit häufigem wahlfreiem Speicherzugriff profitieren davon, ihr Working Set im lokalen DDR5-RAM zu halten. CXL Memory eignet sich dagegen als Kapazitäts-Tier für weniger häufig genutzte Daten, sofern deren Zugriffsmuster die höhere Latenz und begrenzte Bandbreite tolerieren. Dazu können große Lookup-Tabellen, Graph-Datensätze oder bestimmte In-Memory-Datenbank-Partitionen gehören.
Welche Server-Plattformen unterstützen CXL Memory Expansion?
CXL Memory Expansion erfordert eine CPU mit CXL-Unterstützung, ein Mainboard mit geeigneten CXL-fähigen PCIe-Anbindungen und eine BIOS-Firmware, die CXL-Geräte erkennen und dem Betriebssystem als Speicherregionen bereitstellen kann. Nicht jeder Server mit PCIe-5.0-Steckplätzen unterstützt automatisch CXL Memory. Die betreffenden Anbindungen müssen CXL-fähig sein, und die Plattform muss die erforderlichen Funktionen einschließlich der Speicherbeschreibung über geeignete Firmware- und ACPI-Strukturen bereitstellen. Intel führte CXL-Unterstützung mit der 4th Gen Xeon Scalable (Sapphire Rapids) ein und setzte sie über 5th Gen (Emerald Rapids) bis zur Xeon-6-Generation fort. AMD fügte CXL-Unterstützung ab EPYC Genoa (9004) hinzu, erweitert in AMD EPYC Turin (9005). Intel Xeon Scalable der 4. und 5. Generation unterstützt CXL 1.1, während Xeon 6 CXL 2.0 unterstützt. Bei AMD EPYC hängt der verfügbare CXL-Funktionsumfang von der jeweiligen Prozessorgeneration und Plattformimplementierung ab.
Die Unterstützung einer CXL-Version bedeutet nicht automatisch, dass sämtliche Funktionen für CXL Memory Expansion oder CXL Memory Pooling verfügbar sind. Die Plattformunterstützung ist nicht einheitlich. GIGABYTE bietet beispielsweise mit dem R284-S91-AAJ2 einen Intel-Xeon-6-basierten Server mit acht E3.S-2T-Einschüben für CXL-Speichererweiterungsmodule. Der Server R263-ZG5-AAL2 (Rev. 3.x) unterstützt AMD EPYC 9005/9004 und verfügt über vier E3.S-2T-Einschübe für CXL Memory Expansion sowie einen PCIe-5.0-Steckplatz für eine GPU. Auch bei anderen Serverherstellern ist die Unterstützung auf bestimmte Plattformen und Konfigurationen beschränkt.
Warum benötigen speicherintensive KI-Workloads zusätzliche RAM-Kapazität?
Bei KI-Servern entsteht hoher Speicherbedarf nicht ausschließlich durch die Größe des verwendeten Modells. Auch Trainingsdaten, Datenvorverarbeitung, Modellgewichte, Zwischenergebnisse und parallel ausgeführte Inferenzprozesse beanspruchen Speicherressourcen. Dabei muss zwischen dem Arbeitsspeicher des Hostsystems und dem lokalen Speicher der GPUs unterschieden werden. Während GPUs ihren HBM- oder VRAM-Speicher für die Verarbeitung von Modellen und Daten nutzen, stellt der CPU-Arbeitsspeicher unter anderem Kapazität für Datenpipelines, CPU-basierte Modellberechnungen und die Bereitstellung großer Datenstrukturen zur Verfügung.
Übersteigt dieser Bedarf die maximal unterstützte DDR5-Kapazität eines KI-Servers, kann CXL Memory Expansion zusätzlichen CPU-seitig adressierbaren Systemspeicher bereitstellen. Voraussetzung ist eine kompatible Serverplattform. Die Kapazität des GPU-HBM oder VRAM wird dadurch nicht vergrößert. Ob GPU-beschleunigte Anwendungen von der zusätzlichen Systemspeicherkapazität profitieren, hängt von der Datenverarbeitung und den unterstützten Speichermechanismen der eingesetzten KI-Software ab.
Welche KI-Workloads profitieren von CXL Memory Expansion?
CXL Memory ist besonders für KI-Anwendungen interessant, bei denen die verfügbare CPU-RAM-Kapazität die Verarbeitung größerer Modelle oder Datensätze begrenzt. Entscheidend ist, wie häufig auf die zusätzlich bereitgestellten Speicherbereiche zugegriffen wird und ob die Anwendung deren Latenz und Bandbreite tolerieren kann.
KI-Inferenz: Große Sprachmodelle und CPU-seitige Modellbereitstellung
Bei der Inferenz großer Sprachmodelle wird Speicher unter anderem für Modellgewichte, Aktivierungen und den KV-Cache benötigt. Wie diese Daten auf GPU-Speicher und CPU-Arbeitsspeicher verteilt werden, hängt vom verwendeten Inferenz-Framework und der Hardwarearchitektur ab. CXL Memory kann zusätzliche Kapazität für CPU-basierte Inferenz oder CPU-seitig gehaltene Modellbestandteile bereitstellen, wenn die benötigten Daten nicht vollständig in den lokalen DDR5-Arbeitsspeicher passen. Bei GPU-beschleunigter Inferenz ist diese Kapazität dagegen nicht automatisch nutzbar. Werden Modellgewichte oder andere Daten zwischen CPU-Speicher und Enterprise GPU übertragen, können die Übertragungswege und die Speicherbandbreite die Inferenzleistung begrenzen. Ob die Speichererweiterung einen Vorteil bietet, muss deshalb für die konkrete Modellgröße, Quantisierung, Anzahl paralleler Anfragen und Speicherverwaltung des Frameworks geprüft werden.
RAG und Vector Search: Große Indizes im Arbeitsspeicher
Retrieval-Augmented Generation (RAG) kombiniert die Verarbeitung durch ein Sprachmodell mit der Suche nach relevanten Informationen in externen Datenbeständen. Je nach Implementierung können umfangreiche Vektorindizes, Metadaten und weitere Suchstrukturen erhebliche Mengen an CPU-Arbeitsspeicher benötigen. CXL Memory Expansion kann zusätzliche Kapazität für solche Datenstrukturen bereitstellen, wenn der verfügbare lokale RAM nicht ausreicht. Besonders interessant ist dies bei großen Datenbeständen, deren Speicherbedarf die DIMM-Kapazität der Plattform übersteigt. Die Leistung hängt jedoch vom Suchalgorithmus und dem Zugriffsmuster ab. Häufige, unregelmäßige Speicherzugriffe können empfindlich auf zusätzliche Latenz reagieren. Deshalb ist nicht allein die Größe des Vektorindex entscheidend, sondern auch, welche Teile der Datenstruktur im lokalen DDR5-RAM verbleiben und welche über CXL angebunden werden. Für RAG-Server kann CXL Memory Expansion daher sinnvoll sein, wenn große Vektorindizes und Metadaten mehr CPU-Arbeitsspeicher benötigen, als über die lokalen DIMM-Steckplätze bereitgestellt werden kann.
KI-Datenverarbeitung: Große Datensätze und speicherintensive Pipelines
Auch außerhalb der eigentlichen Modellberechnung können KI-Anwendungen einen hohen RAM-Bedarf aufweisen. Datenvorverarbeitung, Feature Engineering und Machine-Learning-Workloads arbeiten teilweise mit umfangreichen Datensätzen und temporären Speicherstrukturen. CXL Memory kann hier zusätzliche Systemspeicherkapazität bereitstellen, wenn die Datenverarbeitung andernfalls durch den verfügbaren RAM begrenzt wird. Ein Leistungsgewinn ist jedoch nicht garantiert: Entscheidend ist, ob die zusätzliche Speicherkapazität tatsächlich einen Kapazitätsengpass beseitigt oder die Anwendung überwiegend durch Speicherlatenz beziehungsweise Bandbreite begrenzt wird.
Wann ist CXL Memory für einen KI-Server sinnvoll?
CXL Memory Expansion ist nicht grundsätzlich die bessere Alternative zu zusätzlichen DDR5-RDIMMs. Ihr Einsatz wird insbesondere dann relevant, wenn eine kompatible Serverplattform ihre unterstützte lokale RAM-Kapazität ausgeschöpft hat und die Anwendung weiterhin zusätzlichen CPU-Arbeitsspeicher benötigt. Für die technische Bewertung sind vier Fragen entscheidend:
- Ist tatsächlich die CPU-RAM-Kapazität der Engpass? Wenn stattdessen GPU-HBM, Rechenleistung oder Netzwerkbandbreite limitieren, behebt CXL Memory diesen Engpass nicht unmittelbar.
- Welche Daten benötigen besonders niedrige Zugriffslatenzen? Häufig genutzte Speicherbereiche sollten bevorzugt im lokalen DDR5-RAM liegen. Für weniger häufig genutzte Daten kann CXL RAM infrage kommen.
- Unterstützt die Software die erforderliche Speicherverwaltung? Je nach Plattform erfolgt die Nutzung über NUMA-Speicherbereiche, Betriebssystemmechanismen oder eine hardwareverwaltete Speicherhierarchie. Eine geeignete Datenplatzierung ist nicht automatisch gewährleistet.
- Ist die konkrete Serverkonfiguration kompatibel? CPU, Mainboard, Firmware, CXL Memory Module beziehungsweise Speichererweiterungsgerät und Betriebssystem müssen die geplante Speichererweiterung unterstützen.
Ein typisches Einsatzszenario ist ein speicherintensiver KI-Workload, dessen häufig genutzte Daten weiterhin im lokalen DDR5-RAM Platz finden, während zusätzliche Datenstrukturen in CXL-angebundenem Speicher gehalten werden können.
Wann CXL Memory zur Workload passt
CXL Memory eignet sich vor allem für Workloads, bei denen die verfügbare Speicherkapazität stärker begrenzt als die Speicherbandbreite oder Zugriffslatenz. Neben den zuvor beschriebenen KI-Anwendungen können auch große In-Memory-Datenbanken und Graph-Analytics-Workloads von zusätzlicher Kapazität profitieren. Bei latenzsensitiven Workloads mit häufigen wahlfreien Speicherzugriffen kann die Anwendungsleistung dagegen sinken, wenn intensiv genutzte Daten im erweiterten Speicher liegen. Das betrifft beispielsweise bestimmte Datenbankabfragen und HPC-Berechnungen mit speicherabhängigen Verarbeitungsschritten. Solche Anwendungen sind jedoch nicht grundsätzlich ungeeignet, sofern eine geeignete Speicherplatzierung möglich ist.
CXL Memory Pooling unterscheidet sich von der Speichererweiterung eines einzelnen Servers. Während CXL Memory Expansion zusätzliche Kapazität für einen Host bereitstellt, ermöglicht CXL Memory Pooling die Zuordnung kompatibler Speicherressourcen zu verschiedenen Hosts über eine geeignete CXL-Switch-Infrastruktur. Die dynamische Bereitstellung erfordert entsprechende Hardware- und Softwareunterstützung. Daraus folgt nicht, dass mehrere Hosts ohne Weiteres gleichzeitig denselben Speicherbereich gemeinsam nutzen können. Wenn die unterstützte lokale DDR5-Kapazität noch nicht ausgeschöpft ist, ist eine Erweiterung über zusätzliche DIMMs häufig die technisch einfachere Lösung mit geringerer Zugriffslatenz. CXL wird insbesondere dann interessant, wenn diese Erweiterungsmöglichkeit an ihre Grenzen stößt oder eine CXL-basierte Speicherarchitektur zusätzliche technische beziehungsweise wirtschaftliche Vorteile bietet.
Dimensionierung von CXL Memory Expansion nach Kapazitätsbedarf und Latenztoleranz
Für die Dimensionierung einer CXL-Memory-Erweiterung sind drei Variablen entscheidend: die zusätzlich benötigte Speicherkapazität, die Latenzsensitivität der Anwendung und die maximal unterstützte Erweiterungskapazität der konkreten Serverplattform. Beispiel: Benötigt ein KI-Workload 8 TB CPU-Arbeitsspeicher und unterstützt die Serverplattform maximal 6 TB lokalen DDR5-RAM, ergibt sich ein zusätzlicher Kapazitätsbedarf von 2 TB. Ob dieser durch CXL Memory Expansion gedeckt werden kann, hängt von der unterstützten Gerätekonfiguration und Erweiterungskapazität ab.
Ermitteln Sie zunächst die Working-Set-Größe – den Anteil des Speichers, auf den häufig zugegriffen wird – und vergleichen Sie diese mit der verfügbaren DDR5-Kapazität. Passt das Working Set in den lokalen RAM, während weniger häufig genutzte Daten zusätzlich gespeichert werden müssen, kann CXL Memory für diese Daten geeignet sein. Messen Sie anschließend die Latenzsensitivität. Profilieren Sie das Speicherzugriffsmuster der Anwendung: Welcher Anteil der Speicheroperationen entfällt auf wahlfreie beziehungsweise sequenzielle Zugriffe, und wie viel Zeit verbringt die Anwendung mit Warten auf Speicher?
Workloads mit vielen kleinen wahlfreien Lesezugriffen – beispielsweise bestimmte Key-Value-Stores – können durch die höhere CXL-Latenz verlangsamt werden. Anwendungen mit großen sequenziellen Zugriffen können von Prefetching profitieren, bleiben jedoch durch die verfügbare CXL-Speicherbandbreite begrenzt. Die tatsächlichen Auswirkungen sollten anhand repräsentativer Workloads gemessen werden. Bei der Wirtschaftlichkeitsbewertung müssen neben dem Speicherpreis auch CXL Memory Module, Erweiterungskarten, gegebenenfalls Switches und der Integrationsaufwand berücksichtigt werden. CXL Memory belegt außerdem PCIe-Ressourcen, die andernfalls GPUs, Netzwerkadapter oder NVMe-Storage aufnehmen könnten.
Gerade bei neuen Technologien wie CXL Memory ist die technische Kompatibilität entscheidend. Nicht jede Serverplattform unterstützt CXL Memory Expansion. Für die Planung müssen unter anderem Prozessor, Mainboard, BIOS-Firmware, PCIe-Anbindung und Betriebssystem berücksichtigt werden. Ebenso wichtig ist die Frage, ob der jeweilige Workload tatsächlich von zusätzlicher RAM-Kapazität profitiert.
Bei Server-Hardware.com können Sie Server kaufen und passende Server RAM Komponenten auswählen. Unsere Server-Experten beraten Sie bei der Auswahl einer geeigneten Speicherarchitektur und prüfen mit Ihnen die Anforderungen an Kapazität, Performance und Erweiterbarkeit. Ob eine CXL-basierte RAM-Erweiterung realisierbar ist, hängt von der konkreten Plattform und den verfügbaren Herstellerfreigaben ab.
CXL Memory: Wenn Kapazitätserweiterung den Latenz-Kompromiss rechtfertigt
CXL Memory erweitert die CPU-seitig adressierbare Speicherkapazität kompatibler Server über die unterstützte lokale DDR5-Konfiguration hinaus. Die zusätzliche Kapazität geht jedoch mit höheren Zugriffslatenzen, begrenzter Bandbreite und zusätzlicher Plattformkomplexität einher. Für speicherintensive KI-Workloads bietet CXL Memory Expansion damit eine Möglichkeit, den CPU-Arbeitsspeicher zu erweitern, wenn herkömmliche RAM-Erweiterungen nicht mehr ausreichen. Die Technologie vergrößert jedoch nicht den lokalen GPU-HBM und garantiert keine höhere Anwendungsleistung.
Ob sich CXL Memory lohnt, hängt davon ab, ob der Kapazitätsgewinn die zusätzlichen Latenzen, die begrenzte Bandbreite und den Integrationsaufwand rechtfertigt. Entscheidend sind die konkrete Serverplattform, die Speicherzugriffsmuster und die Wirtschaftlichkeit.
Technische Quellen:




