Retrieval-Augmented-Generation Server kombinieren Vektorsuche mit Large-Language-Model-Inferenz, um kontextuell präzise Antworten zu liefern, die in unternehmensweiten Wissensbasen verankert sind. Die architektonische Trennung zwischen Retrieval und Generierung erzeugt spezifische Anforderungen an RAG Server, die sich deutlich von Standard-LLM-Hosting oder Datenbank-Workloads unterscheiden. Ein RAG-Deployment muss gleichzeitige Vektor-Ähnlichkeitssuchen über Millionen von Embeddings abwickeln, neue Embeddings für eingehende Anfragen generieren, Ergebnisse optional neu ordnen und dann den abgerufenen Kontext in ein LLM zur finalen Antwortgenerierung einspeisen — alles innerhalb akzeptabler Latenzgrenzen für interaktive Nutzung. Bei der Planung eines RAG Servers ist die Hardware-Frage, vor der Infrastructure-Teams stehen, nicht, ob RAG Rechenressourcen benötigt, sondern wie Speicherbandbreite, Storage-I/O, CPU-Kernanzahl und GPU-Zuteilung sich in Query-Durchsatz und Antwortlatenz bei der Nutzerzahl übersetzen, die das Unternehmen tatsächlich erwartet. Eine Einzelserver-Konfiguration, die für zehn gleichzeitige Nutzer dimensioniert ist, kann bei fünfzig gleichzeitigen Nutzern an ihre Leistungsgrenzen stoßen; eine GPU-SKU, die für ein 7B-Parameter-Modell gewählt wurde, verfügt nicht zwangsläufig über ausreichend VRAM, um ein 70B-Modell zu betreiben. Die zentrale Schwierigkeit besteht darin, dass Vendor-Referenzarchitekturen angeben, welche Komponenten ihre Testumgebungen verwendeten, aber keine allgemeingültigen Mindestspezifikationen für jede Query-Last festlegen.
Dieser Artikel legt dar, was jede RAG-Pipeline-Komponente von einem RAG Server fordert, welche Spezifikationen Durchsatz und Latenz bestimmen und wie man eine Konfiguration gegen das gleichzeitige Query-Volumen dimensioniert statt gegen die Gesamtzahl der Mitarbeiter.
Wie RAG-Architektur die Serveranforderungen bestimmt
Ein produktiver RAG Server besteht aus fünf unterschiedlichen Komponenten, jede mit eigenem Ressourcenprofil. Die Anforderungen an einen RAG Server ergeben sich aus der Ressourcenverteilung zwischen diesen Komponenten. Das Embedding-Modell wandelt Nutzeranfragen und Wissensbasis-Dokumente in dichte Vektordarstellungen um. Die Vektordatenbank speichert diese Embeddings und führt Ähnlichkeitssuchen aus, um die relevantesten Passagen abzurufen. Der Reranker verfeinert optional die Retrieval-Ergebnisse mit einem zweiten, präziseren Modell. Das LLM empfängt den abgerufenen Kontext und generiert die finale Antwort. Die Orchestrierungsschicht koordiniert diese Schritte und verwaltet die Prompt-Konstruktion. NVIDIAs Enterprise RAG Deployment Guide trennt diese Workloads explizit, weil ihre Hardware-Abhängigkeiten unterschiedlich sind. Embedding-Generierung ist CPU- oder GPU-gebunden, abhängig von Modellgröße und Query-Rate. Vektorsuche ist abhängig von der eingesetzten Datenbank- und Indexarchitektur insbesondere durch Arbeitsspeicher, CPU-Leistung und gegebenenfalls Storage-I/O begrenzt. Reranking verhält sich wie Embedding, läuft aber auf kleineren Batches. LLM-Inferenz ist GPU-Speicher-gebunden und rechengebunden. Orchestrierung ist leichtgewichtig. Diese in „RAG braucht GPUs“ oder „RAG braucht schnellen Storage“ zu fassen, verschleiert die tatsächliche Entscheidung: welche Komponenten auf gemeinsamer Hardware laufen, welche dedizierte Knoten erfordern und wo Ressourcenkonflikte den ersten Engpass erzeugen.
Ein RAG-Deployment kann alle Komponenten auf einem einzelnen RAG Server betreiben, sofern ausreichend CPU-Leistung, Arbeitsspeicher, Storage-Ressourcen und gegebenenfalls GPU-Leistung für die eingesetzten Modelle und die erwartete Anfragezahl verfügbar sind. Diese Konfiguration funktioniert dort, wo das gleichzeitige Query-Volumen innerhalb der Leistungsgrenzen des Systems bleibt und wo ausreichend Arbeitsspeicher und gegebenenfalls GPU-Speicher für die eingesetzte Vektordatenbank und die Modelle verfügbar sind. Bei steigender Anfragezahl kann die Aufteilung der Workloads auf spezialisierte Knoten erforderlich werden, um die angestrebte Retrieval-Latenz und Token-Generierungsgeschwindigkeit aufrechtzuerhalten. Die Skalierung richtet sich nach den tatsächlichen Leistungsengpässen und Latenzanforderungen. Ein RAG Server ist kein eigenständiger Servertyp mit speziell entwickelter Hardware, sondern ein Serversystem, das für den Betrieb von Retrieval-Augmented-Generation-Anwendungen ausgelegt ist. Unternehmen können die benötigten Softwarekomponenten auf einem bestehenden KI-Server betreiben, sofern ausreichend CPU-Leistung, Arbeitsspeicher, Storage und gegebenenfalls GPU-Ressourcen verfügbar sind. Alternativ lassen sich die RAG-Komponenten auf einem separaten Serversystem betreiben, während der bestehende KI-Server weiterhin die LLM-Inferenz übernimmt. Ein dedizierter RAG Server ist insbesondere dann sinnvoll, wenn Vektordatenbank, Embedding-Verarbeitung und Retrieval unabhängig von der LLM-Inferenz betrieben oder skaliert werden sollen.
Welche Vorteile bietet ein RAG Server?
Ein RAG Server ermöglicht Unternehmen, interne Wissensquellen für KI-gestützte Anwendungen nutzbar zu machen. Durch die Kombination aus Informationssuche und generativer KI können Antworten auf aktuelle, unternehmensspezifische Dokumente und Daten gestützt werden.
- Zugriff auf internes Unternehmenswissen: Dokumente, technische Handbücher, Wissensdatenbanken und weitere Informationsquellen können in die Beantwortung von Nutzeranfragen einbezogen werden.
- Aktualisierbare Wissensbasis: Neue oder geänderte Informationen können durch Aktualisierung der Dokumentenbestände und Suchindizes berücksichtigt werden, ohne das Sprachmodell erneut trainieren zu müssen.
- Nachvollziehbare Antworten: Abgerufene Dokumente und Textpassagen können als Quellenreferenzen ausgegeben werden, sodass Nutzer die verwendeten Informationen überprüfen können.
- Weniger unbelegte Antworten: Die Bereitstellung relevanter Informationen kann das Risiko von Halluzinationen reduzieren, sofern Retrieval-Qualität und Antwortgenerierung entsprechend ausgelegt sind.
- Kontrolle über sensible Unternehmensdaten: Bei einem lokalen RAG-Deployment können Dokumente, Suchindizes und die Verarbeitung innerhalb der eigenen IT-Infrastruktur verbleiben. Zugriffsrechte und Sicherheitsrichtlinien lassen sich in die Anwendung integrieren.
- Skalierbare KI-Anwendungen: Rechenleistung, Arbeitsspeicher, Storage und gegebenenfalls GPU-Ressourcen können entsprechend der Größe der Wissensbasis, der Anzahl gleichzeitiger Anfragen und den Anforderungen an die Antwortlatenz dimensioniert werden.
Warum RAG Server hohe Speicherbandbreite benötigen
Vektordatenbanken auf RAG Servern können Embedding-Indizes vollständig im Arbeitsspeicher halten, um schnelle Vektor-Ähnlichkeitssuchen ohne zusätzliche Storage-Zugriffe zu ermöglichen. Eine Wissensbasis von 10 Millionen Embeddings mit einem 768-dimensionalen Modell erzeugt ungefähr 30 GB Vektordaten vor Index-Overhead bei FP32-Speicherung. HNSW-Indizes verwenden graphbasierte Suchstrukturen, während IVF-PQ den Suchraum partitioniert und Vektoren komprimiert, um den Speicherbedarf zu reduzieren. Die Suche in HNSW-Indizes erfordert unregelmäßige Speicherzugriffe beim Durchlaufen des Graphen, während IVF-PQ die Anzahl der zu untersuchenden Vektoren durch eine Vorauswahl von Partitionen begrenzt.
DDR5-5600 erreicht pro Speicherkanal eine theoretische Bandbreite von 44,8 GB/s, verglichen mit 25,6 GB/s bei DDR4-3200. Das entspricht einer um 75 % höheren theoretischen Kanalbandbreite. Dieser Unterschied zählt dort, wo Query-Volumen das Retrieval in einen Bereich drängt, in dem mehrere Suchen gleichzeitig laufen und die Vektordatenbank nicht das gesamte Working-Set im L3-Cache halten kann. Speicherkapazitätsanforderungen skalieren mit Dokumentenanzahl und Embedding-Dimensionalität. Eine Wissensbasis von 50 Millionen Embeddings bei 1024 Dimensionen erfordert ungefähr 204,8 GB (190,7 GiB) bei FP32-Speicherung allein für Embeddings, plus Speicher für die verwendete Indexstruktur und Metadaten. Betriebssysteme, Orchestrierungsschichten und die Embedding-Modell-Laufzeitumgebung beanspruchen zusätzliche Kapazität. Für eine vollständig speicherresidente Konfiguration mit 50 Millionen FP32-Vektoren ist daher eine RAM-Ausstattung oberhalb der reinen 205 GB Vektordaten erforderlich. 384 GB oder 512 GB RAM können für RAG Server sinnvolle Ausgangskonfigurationen sein, sofern der Speicherbedarf des gewählten Indexverfahrens berücksichtigt wird. DDR5 RDIMM mit 5600 MT/s oder höher bietet eine hohe theoretische Speicherbandbreite für speicherintensive Suchverfahren und parallele Retrieval-Anfragen.
Storage-Architektur für RAG Server und Vektordatenbanken
Vektordatenbanken stellen an den Storage eines RAG Servers zwei unterschiedliche I/O-Anforderungen. Die Index-Konstruktion während initialer Ingestion und periodischer Neuindizierung kann umfangreiche Lese- und Schreibvorgänge erzeugen. Query-time-Retrieval liest bei Storage-basierten Indexverfahren kleine, verstreute Blöcke, während der Suchalgorithmus den Index-Graphen durchläuft. Beide Muster profitieren von NVMe, aber aus unterschiedlichen Gründen: Datenintensive Schreibvorgänge profitieren von der hohen sequenziellen Transferrate moderner Server NVMe-SSDs, während Storage-basierte Suchverfahren deren niedrige Random-Read-Latenzen nutzen können. Bei vollständig RAM-residenten Indizes erfolgt die eigentliche Vektorsuche dagegen ohne laufwerksbasierte Indexzugriffe.
RAG Server in On-Premise-Deployments, die Milvus, Weaviate oder Qdrant betreiben, können NVMe-SSDs für persistente Vektordaten, Indexdateien und datenbankinterne Schreibvorgänge einsetzen. Je nach Datenbank und Indexverfahren lassen sich auch Suchdaten auf SSDs vorhalten, wenn sie nicht vollständig im RAM gespeichert werden. Selbst wo der aktive Index in RAM passt, persistiert die Vektordatenbank Daten auf persistentem Storage zur Dauerhaftigkeit und schreibt aktualisierte Embeddings, während Dokumente hinzugefügt werden. Ein RAID-Array aus Enterprise-Server-SSD-Laufwerken bietet sowohl hohe I/O-Leistung für datenintensive Datenbankoperationen als auch die Schreibausdauer für kontinuierliche Ingestion. Vier Enterprise-NVMe-SSDs in RAID 10 können eine leistungsfähige Storage-Konfiguration bilden. Die tatsächlich erreichbaren Random-Read-IOPS werden jedoch durch die eingesetzten SSDs, die RAID-Implementierung, die Blockgröße und die Queue Depth bestimmt. Wo die Wissensbasis das übersteigt, was lokale NVMe-Arrays wirtschaftlich aufnehmen können, oder wo mehrere RAG-Knoten auf ein gemeinsames Dokumentenkorpus zugreifen müssen, bietet ein dedizierter NAS-Server zentralisierten Storage für gemeinsam genutzte Dokumente und geeignete persistente Datenbestände. Network-Attached-Storage tauscht Einzelknoten-NVMe-Latenz gegen Kapazität und Verwaltbarkeit im großen Maßstab ein, während latenzkritische Datenbankkomponenten weiterhin auf lokalem NVMe-Storage betrieben werden können.
Wann reine CPU-Konfigurationen für RAG ausreichen
Kleinere Embedding-Modelle — solche mit weniger als 400 Millionen Parametern — und niedrigere Query-Volumen erlauben RAG Server ohne GPU. Ein Dual-Socket-Server mit 64 bis 96 Kernen kann als leistungsfähige CPU-Plattform für die Embedding-Generierung mit optimierten ONNX- oder TorchScript-Laufzeitumgebungen eingesetzt werden. Die erreichbare Query-Rate wird dabei insbesondere durch Modellgröße, Eingabelänge und CPU-Auslastung bestimmt. Die LLM-Komponente kann auf denselben CPUs laufen, wenn das Modell auf 4-Bit- oder 8-Bit-Präzision quantisiert ist und ausreichend Arbeitsspeicher für Modellgewichte und KV-Cache zur Verfügung steht. Llama 3.1 8B bei 4-Bit-Quantisierung benötigt rechnerisch etwa 4 GB für die reinen Modellgewichte. Der tatsächliche RAM-Bedarf liegt aufgrund zusätzlicher Quantisierungsdaten, des KV-Caches und der Laufzeitumgebung höher.
Der Vorteil CPU-basierter RAG Server ist Deployment-Einfachheit: keine GPU-Treiberverwaltung, keine CUDA-Versionsabhängigkeiten, keine PCIe-Lane-Allokationskonflikte. Der Nachteil ist Skalierung: Zusätzliche CPU-Inferenzkapazität lässt sich durch weitere CPU-Ressourcen oder zusätzliche Serverknoten bereitstellen. Für hohe Inferenzdurchsätze bieten geeignete GPUs jedoch häufig eine höhere Rechenleistung und Speicherbandbreite als CPU-basierte Konfigurationen. CPU-basiertes RAG funktioniert dort, wo das Unternehmen bereits x86-Infrastruktur betreibt, wo GPU-Beschaffungsfristen oder Budgets prohibitiv sind und wo Query-Volumen vorhersehbar und moderat ist. Bei größeren Sprachmodellen, häufigen Neuindizierungen mit rechenintensiven Embedding-Modellen oder hohen parallelen Anfragezahlen kann GPU-Beschleunigung die erforderliche Inferenz- und Embedding-Leistung bereitstellen. Eine feste Modellgrößengrenze von acht Milliarden Parametern, ab der GPUs zwingend erforderlich sind, besteht jedoch nicht.
GPU-Anforderungen für RAG Server und LLM-Inferenz
LLM-Inferenz in einem RAG Server unterscheidet sich von Batch-Processing oder Fine-Tuning: jede Query trifft unabhängig ein, wartet auf Abschluss des Retrievals und erwartet dann, dass Token-Generierung mit möglichst geringer Time to First Token (TTFT) startet. Für latenzkritische Inferenz ist es vorteilhaft, die aktiv benötigten Modellgewichte im GPU-Speicher zu halten. CPU-Offloading und die Verteilung auf mehrere Enterprise GPUs können zusätzliche Datenübertragungen beziehungsweise Kommunikationsaufwand verursachen. Das LLM muss mit seinen aktiv benötigten Modellgewichten und Laufzeitdaten in den verfügbaren GPU-Speicher passen, sofern kein bewusst konfiguriertes Offloading eingesetzt wird. Zusätzlicher Speicher wird für den KV-Cache benötigt, dessen Größe insbesondere mit der Kontextlänge und der Anzahl paralleler Sequenzen wächst. Ein 13-Milliarden-Parameter-Modell, quantisiert auf 4-Bit-Präzision, benötigt rechnerisch etwa 6,5 GB für die reinen Modellgewichte; in der Praxis kommen Quantisierungsmetadaten, KV-Cache und Laufzeit-Overhead hinzu. Ein 70-Milliarden-Parameter-Modell bei derselben Präzision braucht rechnerisch etwa 35 GB für die reinen Gewichte. Der zusätzliche KV-Cache-Bedarf richtet sich nach Modellarchitektur, Kontextlänge, Batchgröße und Cache-Präzision. Diese Zahlen bestimmen die Mindest-GPU: eine RTX 6000 Ada mit 48 GB kann für ein entsprechend quantisiertes 70B-Modell infrage kommen, wenn Modellgewichte und Laufzeitdaten einschließlich KV-Cache in den verfügbaren VRAM passen; eine H100 mit 80 GB bietet mehr GPU-Speicher für größere Kontextfenster und parallele Anfragen. NVIDIA Multi-Instance GPU (MIG) ermöglicht die Aufteilung unterstützter GPUs in voneinander isolierte GPU-Instanzen, ist jedoch nicht auf jeder GPU verfügbar.
Auf einem RAG Server konkurrieren bei gemeinsam genutzten GPU-Ressourcen LLM-, Embedding- und Reranking-Anfragen um Rechenleistung und Speicherbandbreite. NVIDIA dimensioniert die Inferenzleistung anhand von Requests pro Sekunde, Token-Durchsatz, Time to First Token und weiteren Latenzmetriken. Mit längeren Kontexten steigt der Speicherbedarf des KV-Caches und die Verarbeitung zusätzlicher Eingabetokens erhöht insbesondere die Prefill-Last. Wo Query-Volumen das übersteigt, was eine GPU liefert, oder wo vorgegebene Antwortlatenzen während Spitzenlast nicht eingehalten werden, benötigt der RAG Server zusätzliche Inferenzkapazität, beispielsweise durch weitere GPUs mit Load-Balancing oder die Verteilung der Inferenzdienste auf mehrere Serverknoten. Embedding- und Reranking-Workloads können auf separaten GPUs oder anteiligen GPU-Ressourcen ausgeführt werden. NVIDIA beschreibt in seiner Enterprise-RAG-Referenzarchitektur beispielsweise eine Zuteilung von 0,5 GPU für den Embedding-NIM-Dienst und eine vollständige GPU für den Reranking-NIM-Dienst. Die LLM-Inferenz wird als eigener Dienst betrieben. Diese Workloads über verschiedene GPU-SKUs zu verteilen, ermöglicht eine gezielte Ressourcenzuteilung und kann verhindern, dass leistungsfähige LLM-Beschleuniger durch Embedding- oder Indexierungsaufgaben zusätzlich belastet werden.
RAG Server für interne KI-Assistenten dimensionieren: Query-Last und Modellanforderungen
Bei der Dimensionierung eines RAG Servers bestimmt das gleichzeitige Query-Volumen den Hardware-Maßstab, nicht die Gesamtzahl der Mitarbeiter. Ein Unternehmen mit 500 Mitarbeitern benötigt keine 500-Nutzer-RAG-Infrastruktur, wenn Spitzen-Gleichzeitigkeit unter fünfzig bleibt. Das Zugriffsmuster zu profilieren — ob Queries in Stößen während Geschäftszeiten eintreffen oder sich gleichmäßig verteilen, ob Nutzer sofortige Antworten erwarten oder 3–5 Sekunden Latenz tolerieren, ob die Wissensbasis stündlich oder monatlich aktualisiert wird — erzeugt die Auslastungskurve, die sich in CPU-Kerne, RAM-Kapazität, NVMe-Laufwerksanzahl und GPU-Zuteilung übersetzt. Das gewählte LLM setzt die Untergrenze für GPU-VRAM eines RAG Servers. Ein 70B-Modell benötigt bei 4-Bit-Quantisierung rechnerisch etwa 35 GB für die reinen Modellgewichte, während ein 13B-Modell bei derselben Präzision etwa 6,5 GB benötigt. Zusätzlicher GPU-Speicher wird für Quantisierungsmetadaten, KV-Cache und die Laufzeitumgebung benötigt. Die erforderliche VRAM-Kapazität richtet sich außerdem nach Kontextlänge und parallelen Anfragen. Das Embedding-Modell bestimmt, ob CPU-basierte Generierung ausreicht oder ob eine dedizierte Embedding-GPU die Latenz unter Last reduziert. Die Vektordatenbankgröße bestimmt DDR5-Kapazität und ob der Index speicherresident bleiben kann oder ein speicherbasiertes oder Storage-gestütztes Indexverfahren erforderlich ist. Jede Spezifikation antwortet auf eine gemessene Workload-Charakteristik, nicht auf eine vom Vendor gelieferte Referenzkonfiguration.
Aus unserer Erfahrung in der Planung und Integration individueller Server-Systeme empfehlen wir, die Anforderungen einer möglichen RAG-Architektur bereits bei der Anschaffung neuer KI-Server zu berücksichtigen. So lassen sich CPU-, RAM-, GPU- und Storage-Ressourcen frühzeitig auf den gemeinsamen Betrieb von KI-Inferenz, Embedding-Modellen und Vektordatenbanken abstimmen. Auch bestehende KI-Infrastrukturen können nachträglich um RAG-Funktionen erweitert werden, beispielsweise durch einen dedizierten RAG Server, der Retrieval und Datenverarbeitung übernimmt, während der vorhandene KI-Server weiterhin die LLM-Inferenz ausführt. Server-hardware.com bietet Build-to-Order- und Configure-to-Order-Plattformen für RAG Server, bei denen IT-Architekten die exakte CPU-, RAM-, GPU- und Storage-Kombination spezifizieren, die ihr RAG-Deployment erfordert. Kompatibilitätsfragen — ob ein gegebenes Mainboard vier Dual-Slot-GPUs unterstützt, ob 512 GB DDR5 über zwölf Kanäle passen, ob zwölf NVMe-Laufwerke mit zwei GPUs in einem 2U-Chassis koexistieren können — werden direkt von Server-Spezialisten vor dem Kauf beantwortet. Projektangebote berücksichtigen Mengenrabatte und erweiterte Garantiebedingungen bis zu sechs Jahren und unterstützen die mehrjährige Betriebsplanung, die RAG-Infrastruktur-Investitionen erfordern. Erkunden Sie die verfügbaren Server oder kontaktieren Sie unser Team für eine Konfigurationsberatung.
Technische Quellen:




