Arbeitsspeicher und lokale KI erklärt
Der Arbeitsspeicher hält alle Daten, mit denen ein Rechner gerade arbeitet. Bei der lokalen KI sind das vor allem die Gewichte des Sprachmodells und der Kontext. Passt ein Modell nicht vollständig hinein, läuft es sehr langsam oder gar nicht. Im Katalog reicht die Spanne von 16 GB beim Geekom A5 Pro bis 128 GB beim Bosgame M5. Als grobe Orientierung: Qwen 3.8-27B belegt als 4-Bit-Quant etwa 16 GB für die Gewichte. Dazu kommen Kontext und Betriebssystem. Daher passt das Modell auf den Geekom A5 Pro mit 16 GB nicht, auf Geräte mit 24 GB oder mehr dagegen schon. Neben der Größe zählt die Speicherbandbreite, also wie schnell Daten gelesen werden. Sie bestimmt maßgeblich, wie zügig Token ausgegeben werden. Im Katalog liegt sie zwischen 51,2 GB/s und 1792 GB/s.