Gewichte eines KI-Modells erklärt
Die Gewichte sind die beim Training gelernten Parameter eines neuronalen Netzes. Ein „27B“-Modell hat rund 27 Milliarden davon. Sie werden als Datei heruntergeladen und zum Ausführen in den Arbeitsspeicher oder VRAM geladen. Wie viel Platz sie brauchen, hängt von der Genauigkeit ab. Bei 16 Bit belegt jeder Parameter 2 Byte, ein 27B-Modell also rund 54 GB. Durch Quantisierung auf etwa 4 Bit schrumpfen die Gewichte deutlich. Qwen 3.8-27B belegt als GGUF-Quant UD-Q4KXL etwa 16 GB. Deshalb passt es komplett in die 36 GB des Apple Mac Studio (M5 Max, 36 GB), aber nicht in die 16 GB des Geekom A5 Pro. Zusätzlich zu den Gewichten braucht der Kontext eigenen Speicher.