Kapazität, Bandbreite, Kontext, Software, Strom und Lautstärke entscheiden gemeinsam.
Beste Kompatibilität für CUDA, vLLM, TensorRT-LLM, llama.cpp und Fine-Tuning.
hoher Preis pro GB VRAM · Leistungsaufnahme und Abwärme · Multi-GPU braucht passende Plattform
Attraktive Speicherkapazität, besonders unter Linux mit aktuellem ROCm-Stack.
mehr Integrationsaufwand · Windows deutlich eingeschränkter · Backend-Unterstützung je Modell prüfen
Unified Memory erlaubt große Modelle in einem ruhigen, kompakten System.
kein CUDA · schwächer für Multi-User-Serving · Speicher nach Kauf nicht erweiterbar
Preiswerter Einstieg für kleinere Modelle, aber mit mehr Softwareprüfung.
kleineres Ökosystem · unterschiedliche Backend-Reife · nicht erste Wahl für produktives Serving
Funktioniert ohne dedizierte GPU, wenn Geschwindigkeit zweitrangig ist.
deutlich weniger Decode-Bandbreite · mehr RAM-Kanäle helfen stark · große Modelle werden schnell langsam
Gut für kleine, dauerhafte Aufgaben wie Whisper, Embeddings und SLMs.
Kapazität und Software entscheidend · TOPS sind kein LLM-Tokens/s-Benchmark · wenig geeignet für große Modelle
Planungswerte für etwa 8k Kontext, Batch 1 und Sicherheitsreserve getrennt.
| Klasse | Q4 | Q8 | FP16 | Startpunkt |
|---|---|---|---|---|
| 7–8B | 6–8 GB | 10–12 GB | 18–20 GB | 12 GB GPU oder 16 GB Unified Memory |
| 14B | 10–13 GB | 18–21 GB | 32–36 GB | 16–24 GB GPU oder 32 GB Unified Memory |
| 32B | 22–27 GB | 37–43 GB | 68–75 GB | 32–48 GB Speicher |
| 70B | 43–52 GB | 78–90 GB | 145–155 GB | 64–96 GB für Q4; 160 GB+ für FP16 |