KI-Kiste

Was ist Q4-Quantisierung?

Bei der Quantisierung werden die Gewichte eines Sprachmodells mit weniger Bit gespeichert. Q4 bedeutet etwa 4 Bit pro Gewicht statt der üblichen 16 Bit. Das Modell schrumpft dadurch auf rund ein Viertel. Ein 27B-Modell braucht so etwa 16 GB statt rund 54 GB. Der Qualitätsverlust ist meist gering, aber messbar. Gängig sind Q4-Varianten im GGUF-Format für llama.cpp. Qwen 3.8-27B läuft zum Beispiel als Unsloth-Quant UD-Q4KXL. Zusätze wie »K«, »XL« oder »UD« stehen für unterschiedliche Verfahren, bei denen manche Schichten genauer gespeichert werden. Q4 macht es möglich, dass 27B-Modelle auf Geräten mit 24 GB wie dem Mac mini M6 laufen. Ein kleineres Modell liest das System außerdem schneller aus dem Speicher, was die Token-Ausgabe beschleunigt.