KI-Kiste

Was sind Modellgewichte?

Modellgewichte sind die gespeicherten Parameter eines KI-Modells, also die Datei oder Dateien, die man herunterlädt, um ein Modell lokal auszuführen. Für llama.cpp liegen sie meist im GGUF-Format vor, oft schon quantisiert. Ihre Größe bestimmt zwei Dinge: ob das Modell in den Arbeitsspeicher oder VRAM passt und wie viel Platz es auf der SSD belegt. Qwen 3.8-27B kommt als 4-Bit-Quant auf rund 16 GB. Wer mehrere Modelle und Quantisierungsstufen sammelt, füllt eine SSD schnell. Beim Apple Mac Studio (M5 Max, 36 GB) gilt die 512-GB-SSD deshalb als Schwachpunkt. Der GEEKOM IT15 bietet dagegen einen zweiten M.2-Slot für eine Modellbibliothek. „Offene Gewichte“ bedeutet, dass die Dateien frei verfügbar sind. Die Nutzung regelt die jeweilige Lizenz, Gemma 4 etwa steht unter Apache 2.0.