Was ist ein 27B-Modell?
Das »B« steht für »Billion«, also englisch für Milliarde. Ein 27B-Modell hat demnach rund 27 Milliarden Parameter. Diese Größe gilt als guter Kompromiss zwischen Qualität und Hardwarebedarf. Das bekannteste aktuelle Beispiel ist Qwen 3.8-27B. Wie viel Speicher ein solches Modell braucht, hängt von der Quantisierung ab. In 16 Bit wären es rund 54 GB. Als 4-Bit-Quant, etwa im Format UD-Q4KXL, belegen die Gewichte etwa 16 GB, dazu kommt Platz für den Kontext. Deshalb laufen 27B-Modelle als 4-Bit-Quant auf dem Mac mini M6 und dem Mac mini M5 Pro mit je 24 GB, allerdings mit wenig Reserve für langen Kontext. Die RTX 5090 mit 32 GB und der Mac Studio mit M5 Max und 36 GB bieten mehr Puffer. Auf dem Geekom A5 Pro mit 16 GB passt Qwen 3.8-27B dagegen nicht.