Praxis-Setups

Starte mit einem Profil, nicht mit einer Teileliste.

Jedes Profil nennt Modellklasse, Kapazität, Stärke und Risiko.

ca. 500–900 CHF

12 GB VRAM

Gut für: 7–8B Q4/Q8, 14B Q4

Geschwindigkeit: interaktiv bei kleinen Modellen

Risiko: 32B und lange Kontexte werden eng

ca. 900–2.000 CHF gebraucht/neu

24 GB VRAM

Gut für: 14B Q4/Q8, manche 32B Q4

Geschwindigkeit: sehr gut für Einzelanwender

Risiko: 70B braucht Multi-GPU oder kleinere Quantisierung

ca. 2.000–3.500 CHF

32 GB VRAM

Gut für: 32B Q4 mit Reserven

Geschwindigkeit: stark bei Prefill und Decode

Risiko: 70B Q4 passt meist nicht vollständig

ca. 3.000–7.000 CHF

48 GB VRAM

Gut für: 70B Q4 mit begrenztem Kontext

Geschwindigkeit: schnell, aber komplexer

Risiko: Strom, Kühlung, Slots und PCIe prüfen

je nach Modell

64 GB Unified Memory

Gut für: 32B komfortabel, 70B Q4 möglich

Geschwindigkeit: leise und gut für Einzelanwender

Risiko: weniger CUDA- und Serving-Kompatibilität

High-End

128–192 GB Unified Memory

Gut für: 70B Q4/Q8 und große MoE-Quants

Geschwindigkeit: große Kapazität, mittlere Bandbreite

Risiko: hoher Anschaffungspreis, nicht für hohe Parallelität