KI-Kiste

Was bedeutet 4 Bit bei KI-Modellen?

„4 Bit“ beschreibt, mit wie viel Speicher jedes Gewicht eines Modells abgelegt wird. Trainiert werden Modelle meist in 16 Bit (BF16 oder FP16). Bei 4 Bit braucht jedes Gewicht nur noch ein Viertel davon. Als Faustregel benötigt ein 4-Bit-Modell rund 0,5 bis 0,6 GB pro Milliarde Parameter, dazu kommt Platz für den Kontext. Qwen 3.8-27B kommt so auf etwa 16 GB statt rund 54 GB in 16 Bit. Damit passen 27B-Modelle als 4-Bit-Quant in den Apple Mac mini (M6, 24 GB), während 16 GB wie im Geekom A5 Pro nicht reichen. Der Nachteil ist ein meist geringer, aber messbarer Qualitätsverlust gegenüber 8 oder 16 Bit. Für viele lokale Anwendungen gilt 4 Bit als guter Kompromiss zwischen Speicherbedarf, Tempo und Antwortqualität.