Modellgröße erklärt
Die Modellgröße beschreibt, wie umfangreich ein Sprachmodell ist. Sie wird entweder als Zahl der Parameter angegeben (etwa 27B = 27 Milliarden) oder als Dateigröße der Modellgewichte in Gigabyte. Für den lokalen Betrieb zählt vor allem die Dateigröße, denn das Modell muss samt Kontext in den Arbeitsspeicher bzw. VRAM passen. Qwen 3.8-27B belegt als 4-Bit-Quant rund 16 GB. Die hier vorgestellten Rechner bieten zwischen 16 GB (Geekom A5 Pro) und 128 GB (Bosgame M5) Speicher. Im Geekom A5 Pro passt Qwen 3.8-27B nicht, weil neben den Gewichten auch Betriebssystem und Kontext Platz brauchen. Ein Apple Mac mini (M6, 24 GB) schafft 27B-Modelle als 4-Bit-Quant, lässt aber wenig Reserve für langen Kontext. Auch das Tempo hängt an der Modellgröße: Je mehr Gigabyte pro erzeugtem Token gelesen werden müssen, desto stärker bremst eine geringe Speicherbandbreite.