KI-Kiste

Quantisierung erklärt

Quantisierung verringert die Genauigkeit, mit der die Modellgewichte gespeichert werden, etwa von 16 auf 8 oder 4 Bit. Dadurch schrumpft das Modell auf die Hälfte bzw. ein Viertel und läuft auch auf Rechnern mit weniger Speicher. Zugleich müssen pro Token weniger Daten gelesen werden, was die Ausgabe beschleunigt. Sprachmodelle für llama.cpp liegen dafür im GGUF-Format vor, mit Stufen wie Q8 oder Q4. Ein Beispiel ist UD-Q4KXL. Bei Bildmodellen in ComfyUI sind FP8 oder BF16 üblich. Je stärker quantisiert wird, desto eher leidet die Qualität, besonders unterhalb von 4 Bit. Praktisch heißt das: Der Minisforum UM890 Pro mit 32 GB fasst 4-Bit-Modelle bis 27B. Ein 27B-Modell in voller 16-Bit-Fassung mit rund 54 GB passt dagegen nicht hinein.