Wie viel RAM bzw. VRAM brauche ich für welches LLM? (7B bis 70B+)

Qwen 3.8-27B schlägt in mehreren Benchmarks Claude Opus 4.6, das im Februar 2026 noch das führende Cloud-Modell war, und braucht in 4 Bit trotzdem nur rund 16 GB. Ich rechne dir vor, wie viel Speicher jede Modellgröße wirklich braucht und welche Geräteklasse dazu passt, damit du nicht für Gigabytes bezahlst, die du nie nutzt.
Wenn du nur eine Minute hast, findest du hier die Zahlen, mit denen ich jede Hardwarefrage zuerst überschlage. Die Herleitung folgt weiter unten. Du brauchst sie erst, wenn ein Modell knapp an der Grenze deines Speichers liegt.
Was die Faustwerte konkret bedeuten
Je weniger Bits pro Gewicht, desto kleiner das Modell. Die folgenden Werte gelten nur für die Gewichte, Kontext und Betriebssystem kommen noch dazu.
| Genauigkeit | pro Mrd. Parameter | 27B-Modell | 70B-Modell |
|---|---|---|---|
| Q4 (4 Bit) | ca. 0,6 GB | ca. 16 GB | ca. 42 GB |
| Q8 (8 Bit) | ca. 1,1 GB | ca. 30 GB | ca. 77 GB |
| FP16 (16 Bit) | gut 2 GB | ca. 55 GB | ca. 140 GB |
Die Q4-Zeile passt gut zur Praxis: Qwen 3.8-27B wiegt in einer 4-Bit-Variante laut heise rund 16 GB. Ein Gerät mit 24 GB wie der Apple Mac mini (M6, 24 GB) ist damit der knapp kalkulierte Einstieg. Für ein 70B-Modell in Q4 brauchst du schon 42 GB nur für die Gewichte. Mit Kontext und Systemreserve landest du schnell bei 48 GB. Realistisch planst du hier eher mit 64 GB oder mehr.
Der Kontext ist der Posten, den alle vergessen
Für einen kurzen Chat fällt der KV-Cache, das Gedächtnis des Modells für das laufende Gespräch, kaum ins Gewicht. Wirfst du dem Modell aber ein 200-seitiges PDF oder eine ganze Codebasis hin, belegt er schnell mehrere Gigabyte zusätzlich. Ein 27B-Modell, das mit 16 GB Gewichten gerade so in 24 GB passt, stößt dann an die Grenze. Darum rechne ich immer mit Puffer und nie mit „passt exakt“.
Viel Speicher oder viel Tempo
Bei Unified Memory teilen sich CPU und Grafikeinheit denselben Arbeitsspeicher. Dadurch bekommst du große Speichermengen vergleichsweise günstig. Der Bosgame M5 bietet zum Beispiel 128 GB für 3.699 €. Eine Nvidia GeForce RTX 5090 hat 32 GB eigenen Grafikspeicher (VRAM) und kostet im Katalog derzeit 9.995 €. Ein 70B-Modell passt also auf den Mini-PC, aber nicht auf die teure Karte.
Dafür schaufelt die Grafikkarte die Daten mit rund 1.800 GB/s etwa siebenmal so schnell zum Rechenwerk wie der Mini-PC mit rund 256 GB/s. Genau diese Speicherbandbreite bestimmt, wie flott die Antwort erscheint. Die Faustregel lautet deshalb: Unified Memory, wenn du große Modelle laden willst. Dedizierte Grafikkarte, wenn ein mittleres Modell möglichst schnell antworten soll.
Mein ehrlicher Rat vorab: Bevor du über 70B nachdenkst, prüf, ob ein aktuelles 27B-Modell deine Aufgaben nicht schon erledigt. In den meisten Fällen tut es das, und dann reichen 24–32 GB. 64 bis 128 GB lohnen sich erst, wenn du gezielt die ganz großen Modelle oder sehr lange Kontexte brauchst.
Die Faustregel: Parameter mal Bits
Du musst keiner Tabelle blind vertrauen. Den Speicherbedarf eines Modells rechnest du mit einer einzigen Multiplikation selbst aus. Ob das Modell dann in den VRAM, also den eigenen Speicher der Grafikkarte, oder in den gemeinsamen Speicher eines Macs passt, siehst du danach sofort.
Der Schlüssel ist die Quantisierung. Damit ist gemeint, dass die Gewichte des Modells mit weniger Bits gespeichert werden. Die Gewichte sind die Milliarden Zahlen, die das Gelernte enthalten. Ab Werk liegen sie meist in 16 Bit vor. Für den Heimgebrauch werden sie auf 8 oder 4 Bit verkleinert. Das kostet etwas Genauigkeit und spart sehr viel Platz.
- 2 Bytepro Parameter bei 16 Bit (FP16/BF16), dem unkomprimierten Originalformat
- 1 Bytepro Parameter bei 8 Bit (Q8), also halb so viel Speicher
- 0,5 Bytepro Parameter bei 4 Bit (Q4), ein Viertel des Originals
- 10–20 %Aufschlag für Overhead wie Metadaten, Laufzeitpuffer und gemischte Bit-Breiten
Die Formel lautet also: Parameter in Milliarden × Byte pro Parameter × 1,1 bis 1,2 = Gigabyte. Bei einem 8B-Modell in Q4 sind das 8 × 0,5 × 1,15, also gut 4,5 GB. Dasselbe Modell in FP16 braucht 8 × 2 × 1,15, also rund 18 GB. Am Modell ändert sich dabei nichts, der Speicherbedarf vervierfacht sich trotzdem. Deshalb lädt kaum jemand zu Hause die Originalgewichte.
Rechenbeispiel: Qwen 3.8-27B
Nehmen wir Qwen 3.8-27B, das Modell aus der Einleitung. In llama.cpp läuft es meist als Unsloth-GGUF in der Variante UD-Q4_K_XL. Das ist eine Quantisierung von grob 4 Bit, bei der einzelne wichtige Schichten etwas genauer gespeichert bleiben.
Die Rechnung: 27 Milliarden × 0,5 Byte ergibt 13,5 GB. Mit 15 bis 20 % Aufschlag landest du bei 15,5 bis 16 GB. Genau so groß ist die Datei auch: rund 16 GB. Die Faustregel trifft also ziemlich genau.
Wichtig ist, was daraus folgt. Diese 16 GB sind nur die Gewichte. Der Kontext, also das, was das Modell gerade liest und schreibt, braucht zusätzlich Platz (dazu weiter unten mehr). Eine Grafikkarte mit 16 GB VRAM ist damit schon voll, bevor du die erste Frage gestellt hast. Auch ein Mac mini (M6, 24 GB) ist knapp, aber machbar, weil macOS einen Teil des Speichers fürs System behält (Details im Abschnitt zu VRAM und Unified Memory). Wer mit 27B ernsthaft arbeiten will, plant deshalb ab 24 GB und hat mit 32 GB spürbar mehr Luft.
Welche Stufe du wählen solltest
| Quantisierung | Byte pro Parameter | Qualität | Wann sinnvoll |
|---|---|---|---|
| FP16 / BF16 | 2 | Original | Fine-Tuning, Forschung, kaum für den Alltag |
| Q8 | 1 | praktisch kein Unterschied zum Original | nur wenn der Speicher locker reicht |
| Q5 | etwa 0,6–0,7 | sehr nah am Original | guter Mittelweg mit etwas Reserve |
| Q4 | etwa 0,5–0,6 | leichte, meist unauffällige Einbußen | der übliche Standard für lokale Modelle |
| Q3 und darunter | unter 0,45 | spürbar schlechter | nur als Notlösung |
Q4 bis Q5 ist der übliche Kompromiss. In diesem Bereich bleibt das Modell im Alltag kaum von der Originalversion zu unterscheiden, du sparst aber 70 bis 75 % Speicher. Unter Q4 leidet die Qualität spürbar: Das Modell verliert schneller den Faden, macht mehr Fehler bei Code und Zahlen und erfindet häufiger Dinge. Ein 27B-Modell in Q3 auf eine zu kleine Karte zu zwängen, ist deshalb meist die schlechtere Idee.
Q8 ist kein Fehler, nur selten die beste Verwendung deines Speichers. Für Qwen 3.8-27B in Q8 bräuchtest du allein für die Gewichte rund 30 GB. Mit 32 GB wird das schon wieder eng, sobald der Kontext dazukommt. Q8 lohnt sich erst, wenn nach dem Laden noch reichlich Platz übrig ist, etwa auf einem Mac Studio (M5 Max, 36 GB) mit einem kleineren Modell. Sonst steckst du die Gigabyte besser in mehr Kontext.
Milliarden Parameter × 0,5 (für Q4) oder × 1 (für Q8), dann 15 % drauf. Das ergibt die Größe der Gewichte. Plane danach noch Platz für den Kontext ein, und du weißt, ob ein Gerät reicht, bevor du es kaufst.
Speichertabelle: von 7B bis 70B+
Die Tabelle unten ist die Kurzform der Faustregel: Parameterzahl mal Bits pro Gewicht, inklusive Overhead. Die Werte gelten nur für die Gewichte. Den KV-Cache rechnest du je nach Kontextlänge noch dazu. Bei langen Dokumenten sind das schnell mehrere Gigabyte. Die rechte Spalte nennt die Geräteklasse, in der das Modell in Q4 bequem läuft.
| Modellgröße | Aktuelle Modelle als Anker | Q4 (≈ 4 Bit) | Q8 (8 Bit) | FP16 (16 Bit) | Passende Hardware-Kategorie |
|---|---|---|---|---|---|
| 7–8B | Gemma 4 E4B (für sparsame Geräte) | rund 4–5 GB | rund 8–9 GB | rund 16–18 GB | Einsteiger-Mini-PC |
| 12–14B | Gemma 4 12B | rund 7–9 GB | rund 13–15 GB | rund 24–28 GB | Mac mini / 16-GB-Grafikkarte |
| 26–31B | Gemma 4 26B A4B (MoE), Gemma 4 31B, Qwen 3.8-27B | rund 16–19 GB | rund 29–34 GB | rund 52–62 GB | 32-GB-Grafikkarte / Mac Studio |
| 70B | klassische 70B-Modelle | rund 42 GB | rund 77 GB | rund 140 GB | Unified-Memory-Rechner mit 128 GB |
Beim Lesen fällt eines sofort auf: FP16 ist für Heimanwender praktisch nie die richtige Spalte. Ein 27B-Modell in voller Genauigkeit braucht über 50 GB. Dasselbe Modell in Q4 kommt mit rund 16 GB aus, also knapp einem Drittel davon. Für dich ist deshalb fast immer die Q4-Spalte die maßgebliche. Q8 lohnt sich nur, wenn der Speicher sowieso übrig ist.
So liest du die Hardware-Spalte
7–8B: Ein Modell wie Gemma 4 E4B passt in Q4 locker in 8 GB. Dafür reicht ein Einsteiger-Mini-PC wie der Geekom A5 Pro für 549 €. Rechne aber nicht mit hohem Tempo, denn der normale Arbeitsspeicher ist deutlich langsamer als Grafikspeicher.
12–14B: Gemma 4 12B belegt in Q4 knapp 8 GB. Damit ist ein Mac mini oder eine Grafikkarte mit 16 GB VRAM die sinnvolle Klasse. Bei 16 GB bleibt hier Platz für einen langen Kontext. Q8 mit rund 13–15 GB passt dagegen nur knapp.
26–31B: Diese Klasse reicht für die meisten Aufgaben. In Q4 belegen diese Modelle 16 bis 19 GB. Der Apple Mac mini (M6, 24 GB) ist dafür knapp kalkuliert. Mit 32 GB VRAM, etwa auf der Nvidia GeForce RTX 5090, oder dem Apple Mac Studio (M5 Max, 36 GB) hast du spürbar mehr Spielraum für Kontext.
70B: Rund 42 GB in Q4 übersteigen jede Consumer-Grafikkarte. Hier kommen nur Rechner mit großem Unified Memory infrage. Der Bosgame M5 mit 128 GB fasst ein 70B-Modell in Q4 und sogar in Q8 (rund 77 GB). Für FP16 mit 140 GB reicht aber auch er nicht.
Sonderfall MoE: viel Speicher, wenig Rechenlast
Ein Mixture-of-Experts-Modell (MoE) besteht aus vielen Teilnetzen, von denen pro Token nur wenige arbeiten. Gemma 4 26B A4B muss trotzdem alle 26B Gewichte im Speicher halten, in Q4 also ebenfalls rund 16 GB. Pro Token rechnet es aber nur mit etwa 4B aktiven Parametern.
Das hat einen praktischen Effekt: Wie schnell ein Modell Text ausgibt, hängt vor allem davon ab, wie viele Daten pro Token aus dem Speicher gelesen werden. Bei einem dichten 27B-Modell in Q4 sind das grob 16 GB pro Token. Beim MoE mit 4B aktiven Parametern sind es nur etwa 2 bis 3 GB. Auf Rechnern mit vergleichsweise langsamem DDR5-Arbeitsspeicher wie dem Minisforum UM890 Pro (32 GB) oder dem GEEKOM IT15 (32 GB) ist das der Unterschied zwischen zähem Tröpfeln und brauchbarem Lesetempo. Der Speicherbedarf bleibt gleich, nur die Wartezeit schrumpft.
Meine Empfehlung: Wenn dein Gerät zwar genug Speicher hat, aber keine schnelle Grafikkarte, ist ein MoE-Modell oft die klügere Wahl als ein gleich großes dichtes Modell. Welche Geräte in jeder Zeile konkret infrage kommen, findest du weiter unten nach Modellgröße sortiert und ausführlicher in den Kategorie-Übersichten zu Mini-PCs, Macs und Grafikkarten.
Der Kontext frisst mit: KV-Cache einplanen
Die Rechnung „Parameter mal Bits“ sagt dir, wie viel Platz die Gewichte brauchen. Damit ist das Modell aber nur geladen, gearbeitet hat es noch nicht. Sobald du ihm Text gibst, legt es den KV-Cache an. Das ist der Zwischenspeicher für alles, was das Modell in diesem Gespräch schon gelesen hat, damit es nicht bei jedem neuen Token wieder von vorn rechnen muss. Dieser Cache liegt ebenfalls im VRAM (dem Grafikspeicher) bzw. im Unified Memory, also genau dort, wo es ohnehin schon eng ist.
Wichtig ist das Wachstumsverhalten: Der KV-Cache wächst linear mit der Kontextlänge. Doppelt so viele Token bedeuten grob doppelt so viel Cache. Ein Modell, das mit einem kurzen Chat locker in deinen Speicher passt, kann deshalb beim Einlesen eines langen PDFs plötzlich auslagern oder abbrechen. Das liegt dann nicht am Modell selbst, sondern daran, dass es sich zu viel merken muss.
Was die aktuellen Modelle theoretisch können
Die Hersteller werben mit riesigen Kontextfenstern, und die Zahlen stimmen auch. Qwen 3.8-27B verarbeitet nativ 262.144 Token. Laut einem Erfahrungsbericht auf dev.to wurde der Kontext per YaRN, einem Verfahren zum nachträglichen Strecken des Kontextfensters, sogar auf 512K erweitert. Das lief allerdings auf einem MacBook Pro M5 mit 128 GB Unified RAM. Die Gewichte belegen in Q4 rund 16 GB, der Großteil der restlichen gut 100 GB stand für den Cache bereit. Das zeigt gut, wohin die Reise bei extremem Kontext geht.
Gemma 4 bietet 128K Kontext bei den kleinen Varianten (E2B, E4B) und 256K bei den mittleren (12B, 26B A4B, 31B). Auch das ist ein Maximalwert und keine Empfehlung für den Alltag. Ein Modell kann zwar so viel verarbeiten, dein Gerät muss den dafür nötigen Speicher aber trotzdem aufbringen.
Wie viel Kontext du wirklich brauchst
| Kontextlänge | Typischer Einsatz | Speicherpuffer einplanen |
|---|---|---|
| 8–16K | Chat, kurze Mails, einzelne Code-Dateien | wenige GB |
| 32K | längere Dokumente, mehrere Dateien gleichzeitig | einige GB, knapp kalkulierte Geräte kommen an die Grenze |
| 128K und mehr | ganze Codebasen, Buchkapitel, lange Agenten-Sitzungen | deutlich mehr, oft in der Größenordnung der Gewichte selbst |
Unterm Strich: Wer nicht regelmäßig ganze Codebasen oder dicke Dokumente einliest, kommt mit 8–32K Kontext gut aus. Dafür reichen wenige GB Puffer über dem Modellgewicht. Konkret: Qwen 3.8-27B in Q4 mit rund 16 GB passt auf einen Apple Mac mini (M6, 24 GB). Weil macOS der GPU nicht den kompletten Speicher überlässt, bleibt dann aber nur ein schmaler Rest für Cache und System. Für Chats und mittlere Dokumente reicht das, für 128K eher nicht. Wer mehr Luft für längeren Kontext haben möchte, plant von vornherein mit dem Apple Mac Studio (M5 Max, 36 GB) oder einer Geräteklasse darüber.
Kontext bewusst begrenzen statt Speicher nachkaufen
Programme wie llama.cpp reservieren den Cache für die eingestellte Kontextlänge, nicht für das, was du tatsächlich eintippst. Stell die Kontextgröße deshalb auf das ein, was du wirklich nutzt, zum Beispiel 16K oder 32K, statt pauschal das Modellmaximum zu wählen. Zusätzlich lässt sich der KV-Cache selbst quantisieren, etwa auf 8 Bit. Das halbiert seinen Platzbedarf gegenüber 16 Bit grob, ohne dass die Gewichte schlechter werden. Beides zusammen ist oft der Unterschied zwischen „passt“ und „passt nicht“, und es kostet keinen Cent.
Für deine Kaufentscheidung heißt das: Nimm die Gewichtsgröße aus der Tabelle oben und schlag für normalen Alltagskontext einige GB obendrauf. Für Langtext-Arbeit brauchst du deutlich mehr. Wer nur die nackte Modellgröße kauft, kauft auf Kante, und das merkt man meist genau dann, wenn das wichtige 80-Seiten-PDF dran ist.
VRAM oder Unified Memory: welche Geräteklasse zu dir passt
Ob ein Modell passt, entscheidet die Speichergröße. Wie flott es antwortet, entscheidet ein anderer Wert: die Speicherbandbreite. Gemeint ist, wie viele Gigabyte pro Sekunde vom Speicher zum Rechenwerk fließen können. Für jedes erzeugte Token muss das Modell praktisch einmal komplett durchgelesen werden. Teilst du die Bandbreite durch die Modellgröße, bekommst du eine grobe Obergrenze für Token pro Sekunde. In der Praxis landest du spürbar darunter, die Reihenfolge der Geräteklassen bleibt aber gleich.
| Speicherart (typische Bandbreite) | 8B in Q4 (~5 GB) | 27B in Q4 (~16 GB) |
|---|---|---|
| DDR5 Dual-Channel (~90 GB/s) | max. ~18 Token/s | max. ~5–6 Token/s |
| Ryzen AI Max, 256-Bit-LPDDR5X (~256 GB/s) | max. ~50 Token/s | max. ~16 Token/s |
| 16-GB-Gaming-Karte (~640 GB/s) | max. ~125 Token/s | passt nur knapp, kaum Platz für Kontext |
| RTX 5090, GDDR7 (~1.800 GB/s) | max. ~350 Token/s | max. ~110 Token/s |
Sie zeigen aber das Prinzip: Grafikkarten-VRAM, also der eigene Speicher direkt auf der Grafikkarte, liegt klar vorn. Normaler DDR5-Arbeitsspeicher liegt klar hinten. Alles mit Unified Memory bewegt sich dazwischen.
- Dedizierte Grafikkarte – Die höchste Bandbreite pro Euro. Laut heise schafft schon eine 16-GB-Gaming-Karte für rund 920 € in einem normalen Gaming-PC sinnvolle KI-Arbeit inklusive Coding. Die Grenze ist die feste VRAM-Größe: Was nicht hineinpasst, wird langsam.
- Mac mit Unified Memory – CPU und GPU teilen sich einen Speicher, Apple-Chips binden ihn breit an. Das ergibt eine leise, sparsame Kiste mit viel nutzbarem Speicher. Einen Haken hat das Ganze: macOS gibt nicht den kompletten RAM an die GPU frei.
- Ryzen-AI-Max-Mini-PC mit 128 GB – Genug Speicher für 70B-Modelle in Q4 samt Kontext. Mit rund 256 GB/s statt rund 1.800 GB/s ist er pro Token aber deutlich langsamer als eine RTX 5090.
- Normaler Mini-PC mit DDR5 – Günstig, sparsam und für 7–8B-Modelle völlig ausreichend. Bei 27B wird es zäh, weil die Bandbreite fehlt.
Grafikkarte: Wer schon einen Gaming-PC hat, kommt hier am günstigsten an schnelle Antworten. Eine 16-GB-Karte hält kleine und mittlere Modelle komplett im VRAM. Für Qwen 3.8-27B mit rund 16 GB Gewichten wird es aber eng, sobald der Kontext dazukommt. Mehr Luft bietet die Nvidia GeForce RTX 5090 mit 32 GB: Sie hält ein 27B-Modell in Q4 samt großzügigem Kontext und ist die schnellste Option in diesem Vergleich. Für 9.995 € ist sie allerdings eher ein Investment als eine Grafikkarte. Bei diesem Preis würde ich ehrlich gesagt erst einmal nachrechnen, ob ein Mac nicht reicht.
Mac: Auf dem Datenblatt sieht Unified Memory großzügig aus, doch macOS reserviert einen Teil für das System. Nach den verbreiteten Erfahrungswerten stehen der GPU bei kleineren Konfigurationen standardmäßig nur etwa zwei Drittel des RAMs zur Verfügung. Beim Apple Mac mini (M6, 24 GB) und beim Apple Mac mini (M5 Pro, 24 GB) bleiben so standardmäßig grob 16 GB für die GPU, also genau die Größe von Qwen 3.8-27B in Q4. Damit es samt kurzem Kontext läuft, musst du das Limit per Terminal-Befehl anheben. Das geht, aber dann wird es fürs System eng. Der Apple Mac Studio (M5 Max, 36 GB) gibt dir hier spürbar mehr Spielraum, und der Max-Chip bringt zusätzlich mehr Bandbreite mit als die Basis-Chips.
Ryzen AI Max: Der Bosgame M5 mit 128 GB ist der Weg, wenn du 70B-Modelle wirklich lokal laden willst. Bei rund 42 GB Gewichten und rund 256 GB/s landest du rechnerisch bei höchstens etwa 6 Token pro Sekunde, real eher darunter. Das ist ungefähr Lesetempo, für Chat brauchbar, für schnelles Coding zäh.
DDR5-Mini-PCs: Geekom A5 Pro, Minisforum UM890 Pro und GEEKOM IT15 rechnen mit normalem Dual-Channel-Arbeitsspeicher. Für Gemma 4 E4B oder ein anderes 7–8B-Modell genügt das. Die 32 GB von UM890 Pro und IT15 fassen zwar auch ein 27B-Modell, das antwortet dann aber im Schneckentempo. Speicher allein macht ein Gerät noch nicht KI-tauglich. Die Bandbreite muss zur Modellgröße passen.
Passende Geräte nach Modellgröße
Jetzt wird die Rechnung konkret. Ich ordne die acht Geräte aus unserem Katalog den Modellklassen zu. Maßgeblich ist, wie viel Speicher das Rechenwerk tatsächlich nutzen kann, denn das zählt mehr als die Zahl auf dem Karton.
Bis 8B: kleine Modelle, kleines Budget
Ein Modell wie Gemma 4 E4B ist für sparsame Geräte gebaut und belegt in Q4 nur wenige Gigabyte. Dafür brauchst du keine Grafikkarte und keinen Mac. Ein einfacher Mini-PC reicht, solange du keine Wunder bei der Geschwindigkeit erwartest.
Mit 549 € das mit Abstand billigste Gerät im Katalog. Für Gemma 4 E4B und ähnliche Modelle bis 8B reicht das, für alles darüber ist es die falsche Wahl.
Wer etwas mehr Luft will, greift zu einem Mini-PC mit 32 GB RAM. Damit passen auch 12–14B-Modelle wie Gemma 4 12B in Q4 samt etwas Kontext in den Speicher. Der Haken ist die integrierte Grafik, also die im Prozessor eingebaute GPU: Sie teilt sich den normalen Arbeitsspeicher mit vergleichsweise geringer Bandbreite. Die Antworten kommen deshalb spürbar langsamer als auf einem Mac oder einer Grafikkarte.
Für 1.159 € bekommst du 32 GB RAM. Das reicht für Gemma 4 12B in Q4 mit Reserve. Rechne aber eher mit gemächlichem Lesetempo als mit flüssigem Chat.
Gleiche Speichermenge wie der Minisforum, aber 240 € teurer. Sinnvoll, wenn du ihn ohnehin als Büro-PC mit Intel-Plattform nutzen willst und lokale Modelle eher nebenbei laufen.
Bis 27B: die Klasse, die für die meisten reicht
Qwen 3.8-27B wiegt als UD-Q4_K_XL-Quant rund 16 GB. Mit 24 GB Unified Memory wird das knapp: Selbst wenn du das GPU-Limit von macOS anhebst, bleiben nur wenige Gigabyte für den KV-Cache übrig. Kurze Chats und überschaubarer Code funktionieren. Wer ganze Repositories oder lange PDFs einlesen will, stößt schnell an die Grenze.
Für 1.299 € der günstigste Weg, Qwen 3.8-27B in Q4 überhaupt zu nutzen, allerdings nur mit kurzem Kontext. Bei Dokumenten-Arbeit wirst du die fehlenden Gigabyte bereuen.
Der M5 Pro bringt mehr Speicherbandbreite und erzeugt deshalb schneller Text. Die Speichergrenze von 24 GB bleibt aber gleich. Die 400 € Aufpreis kaufen dir Tempo, keine größeren Modelle.
27B mit Reserve: langer Kontext ohne Engpass
Hier geht es nicht um größere Modelle, sondern um Reserve. Wer Qwen 3.8-27B mit einem langen Kontextfenster nutzen will, braucht neben den 16 GB Gewichten noch Platz für einen KV-Cache von mehreren Gigabyte. Mehr dazu steht im Abschnitt zum Kontext.
Mit 36 GB bleibt nach den Modellgewichten genug Platz für große Dokumente, und der M5 Max liefert dazu viel Bandbreite. Für 2.599 € ist das der vernünftigste Arbeitsplatz für ernsthafte 27B-Nutzung.
Die 32 GB VRAM (der eigene Grafikspeicher der Karte) sind deutlich schneller angebunden als jeder Unified Memory im Katalog. Zum Katalogpreis von 9.995 € ist das aber nur für Leute sinnvoll, die damit Geld verdienen. Dazu kommt noch ein PC drumherum.
Mein Fazit für diese Klasse: Für die meisten ist der Mac Studio die bessere Wahl. Die RTX 5090 ist schneller, kostet aber schon ohne PC fast das Vierfache und bietet 4 GB weniger Speicher.
70B: nur mit sehr viel Unified Memory
Ein 70B-Modell belegt in Q4 rund 42 GB, mit Kontext entsprechend mehr. Das passt in keines der bisher genannten Geräte. Auch die RTX 5090 müsste Schichten in den normalen Arbeitsspeicher auslagern, und dann bricht das Tempo deutlich ein.
Das einzige Gerät im Katalog, das ein 70B-Modell in Q4 samt großzügigem Kontext komplett im Speicher hält. Für 3.699 € bekommst du 128 GB Unified Memory, die Bandbreite liegt aber unter der eines Mac Studio.
Kurz eingeordnet
Der Ryzen AI Max+ 395 im Bosgame M5 ist nicht mehr AMDs neuester Chip. Der Nachfolger Ryzen AI Max+ PRO 495 kommt in ersten Mini-PCs mit 192 GB Unified Memory, allerdings zu deutlich höheren Preisen. Für 70B in Q4 spielt das kaum eine Rolle, denn den Ausschlag gibt die Speichermenge, und die ist mit 128 GB reichlich.
Alle Geräte im Vergleich – und wann mehr Speicher überdimensioniert ist
| Produkt | Bewertung | Preis | Kaufen |
|---|---|---|---|
Nvidia GeForce RTX 5090 32 GB GDDR7 an 512 Bit: 27B-Modelle wie Qwen 3.8 laufen komplett im VRAM +32 GB VRAM: 27B-Modelle samt Kontext+512 Bit: zügigere Token-Ausgabe -Preis weit über der RX 9070 XT | 9.995,00 € | Kaufen → | |
Apple Mac Studio (M5 Max, 36 GB) 36 GB Unified Memory für 27B-Modelle wie Qwen 3.8 – leise auf dem Schreibtisch +36 GB: Qwen 3.8-27B passt komplett+Neural Accelerator je GPU-Kern -36 GB verlötet, später nicht aufrüstbar | 2.599,00 € | Kaufen → | |
Bosgame M5 (Ryzen AI Max+ 395, 128 GB, 2 TB) 128 GB Unified Memory im Mini-PC: Platz für große lokale LLMs +128 GB Unified Memory für große LLMs+Radeon 8060S: Bildgenerierung ohne Grafikkarte -RAM verlötet, später nicht aufrüstbar | 3.699,00 € | Kaufen → | |
Apple Mac mini (M5 Pro, 24 GB, 512 GB) Top-Empfehlung 24 GB Unified Memory und 307 GB/s: lokale 27B-Modelle in einem 12,7-cm-Würfel +24 GB: 27B-Modelle als 4-Bit-Quant+307 GB/s: zügigere Token-Ausgabe -24 GB: wenig Puffer für Langkontext | 1.699,00 € | Kaufen → | |
Apple Mac mini (M6, 24 GB, 512 GB) 24 GB Unified Memory: Qwen 3.8-27B im 4-Bit-Quant auf dem Schreibtisch +24 GB: 27B-Modelle als 4-Bit-Quant+Neural Accelerator pro GPU-Kern beschleunigt KI -24 GB: wenig Reserve für langen Kontext | 1.299,00 € | Kaufen → | |
GEEKOM IT15 (Core Ultra 9 285H, 32 GB, 1 TB) Core Ultra 9 285H und 32 GB DDR5: kompakter Einstieg für kleine lokale KI-Modelle +Zwei SODIMM-Slots: RAM später aufrüstbar+Zweiter M.2-Slot für Modellbibliothek -Keine eigene GPU: größere LLMs laufen zäh | 1.399,00 € | Kaufen → |
Preise vom 16. Nov. 2026, sie können sich inzwischen geändert haben.
Häufige Fragen zu RAM und VRAM für LLMs
Nach der ganzen Rechnerei bleiben meistens noch ein paar konkrete Fragen offen. Hier sind die Antworten, kurz und mit Zahlen, wo es belastbare gibt.
Häufig gestellte Fragen
Kann ich ein Modell teilweise in den normalen RAM auslagern?
Ja. llama.cpp verteilt die Schichten (Layers) eines Modells auf Grafikkarte und CPU. Wie viele davon auf der GPU landen, legst du mit dem Parameter --n-gpu-layers fest. So läuft auch ein Modell, das ein paar Gigabyte zu groß für deinen VRAM ist. Das Tempo bricht dabei aber deutlich ein. Der ausgelagerte Teil wird mit der viel geringeren Speicherbandbreite des Arbeitsspeichers abgearbeitet, und dieser langsamste Abschnitt bremst die ganze Antwort aus. Zum Ausprobieren reicht das, für den täglichen Einsatz beim Chatten oder Programmieren wird es zäh.
Reichen 8 GB VRAM?
Für kleine Modelle ja. igorslab hat im ASUS ROG GR70 eine RTX 5070 Laptop GPU mit nur 8 GiB VRAM eingesetzt und darauf Gemma 4 E4B in Q4_K_XL unter llama.cpp laufen lassen. CUDA war dabei schneller als Vulkan. Mit einer Nvidia-Karte solltest du also den CUDA-Build verwenden. Rechnerisch passt auch ein 7–8B-Modell in Q4 hinein: Es belegt rund 5 GB, dazu kommt etwas Kontext. Bei 12B wird es eng, und 27B ist mit 8 GB ohne Auslagern nicht drin.
Lohnt Q8 statt Q4?
Nur, wenn der Speicher locker reicht. Q8 braucht etwa 1,1 GB pro Milliarde Parameter und damit fast doppelt so viel wie Q4. Bei gleichem Budget ist ein größeres Modell in Q4 meist die bessere Wahl als ein kleineres in Q8. Ein Beispiel mit dem Apple Mac mini (M6, 24 GB): Qwen 3.8-27B in Q4 belegt rund 16 GB, Gemma 4 12B in Q8 etwa 13 GB. Beide passen, aber das 27B-Modell bringt in der Regel mehr Wissen und das bessere Schlussfolgern mit. Q8 lohnt sich für mich erst, wenn nach Modell und Kontext noch reichlich Speicher frei bleibt.
Brauchen MoE-Modelle wie Gemma 4 26B A4B weniger Speicher?
Beim Speicher nicht. Ein Mixture-of-Experts-Modell besteht aus mehreren spezialisierten Teilnetzen, von denen pro Token nur einige rechnen. Geladen sein müssen trotzdem alle Gewichte. Gemma 4 26B A4B planst du also wie ein 26B-Modell ein. Der Vorteil liegt woanders: Pro Token sind nur etwa 4 Milliarden Parameter aktiv. Deshalb antwortet das Modell in der Regel deutlich flotter als ein gleich großes dichtes Modell, bei dem für jedes Token alle Parameter rechnen.
Brauchen Bildmodelle weniger Speicher?
Das hängt vom Format ab. PCGH lässt aktuelle Bildmodelle wie Flux.2, Krea-2, Qwen und Z-Image bei knappem VRAM als Turbo-Versionen in FP8 oder BF16 über ComfyUI laufen, am besten mit Python 3.13. Die Faustregel aus diesem Ratgeber gilt auch hier: FP8 heißt rund ein Byte pro Gewicht, BF16 zwei. Die Turbo-Varianten sind also der Weg, Bildgenerierung auf Karten mit wenig VRAM überhaupt sinnvoll zu nutzen.
Soll ich auf Qwen 4 warten?
Für den Hardwarekauf nicht. Qwen 4 wird jeden Moment erwartet, war aber zum Zeitpunkt des heise-Videos Anfang November 2026 noch nicht erschienen. Welche Größen und Quantisierungen es geben wird, weiß also noch niemand verbindlich. Die Speicherregeln gelten für die nächste Generation genauso: Parameter mal Bits plus Puffer für den Kontext. Wer heute für ein 27B-Modell in Q4 plant, ist auch für einen gleich großen Nachfolger gerüstet. Bis dahin musst du nicht mit halber Leistung leben: Laut heise liegen lokale Modelle nur noch etwa ein halbes Jahr hinter der Cloud-Spitze wie Claude Opus 5.5.











