KI-Kiste

Speicherbedarf erklärt

Der Speicherbedarf gibt an, wie viel Arbeitsspeicher (RAM oder VRAM) ein Modell zur Laufzeit belegt. Er setzt sich aus drei Teilen zusammen: den Modellgewichten, dem KV-Cache für den Kontext und etwas Reserve für Betriebssystem und Software. Die Gewichte hängen von der Parameterzahl und der Quantisierung ab. Qwen 3.8-27B belegt als Quant mit etwa 4 Bit rund 16 GB. Die Geräte in unserem Katalog bieten 16 GB (Geekom A5 Pro) bis 128 GB (Bosgame M5). Beim Geekom A5 Pro mit 16 GB passt Qwen 3.8-27B nicht hinein. Der Apple Mac mini mit M6 und 24 GB schafft es als 4-Bit-Quant, lässt aber wenig Puffer für langen Kontext. Übersteigt der Bedarf den verfügbaren Speicher, startet das Modell gar nicht oder wird durch Auslagern stark gebremst.