KI-Kiste

Was ist Grafikspeicher?

Grafikspeicher, kurz VRAM, ist der Speicher, auf den die GPU direkt zugreift. Für lokale KI ist er meist der entscheidende Engpass: Die Gewichte eines Sprachmodells und der Kontext müssen vollständig hineinpassen, sonst wird es deutlich langsamer oder startet gar nicht. Eine dedizierte Grafikkarte wie die Nvidia GeForce RTX 5090 bringt 32 GB GDDR7 mit. Das reicht für 27B-Modelle samt Kontext, aber nicht für komplette 70B-Modelle. Apple-Rechner und Systeme wie der Bosgame M5 nutzen dagegen gemeinsamen Arbeitsspeicher (Unified Memory), den sich CPU und GPU teilen. In unserem Katalog reicht das von 24 GB beim Mac mini M6 bis 128 GB beim Bosgame M5. Bei geteiltem Speicher steht der KI nicht die volle Menge zur Verfügung, weil auch das Betriebssystem und laufende Programme Platz brauchen.