KI-Kiste

Was bedeutet UD-Q4KXL?

UD-Q4KXL bezeichnet eine Quantisierungsstufe im GGUF-Format, wie sie Unsloth für llama.cpp bereitstellt. In Dateinamen steht meist UD-Q4_K_XL. „UD“ steht für Unsloth Dynamic: Statt alle Schichten gleich stark zu komprimieren, bleiben besonders empfindliche Teile mit höherer Genauigkeit erhalten. „Q4“ bedeutet rund 4 Bit pro Gewicht, „K“ das K-Quant-Verfahren von llama.cpp und „XL“ die größere Variante dieser Stufe. Aktuell läuft Qwen 3.8-27B als UD-Q4KXL in llama.cpp, die Gewichte belegen dann etwa 16 GB. Damit passt das Modell in Rechner ab 24 GB gemeinsamem Speicher, etwa den Apple Mac mini (M5 Pro, 24 GB), allerdings mit wenig Puffer für langen Kontext. Bei knappem Speicher sind solche 4-Bit-Varianten die übliche Wahl, bei viel Speicher lohnen höhere Stufen.