KI-Kiste

Was ist VRAM?

VRAM (Video RAM) ist der eigene Speicher einer Grafikkarte. Für die lokale KI ist er entscheidend: Nur was vollständig im VRAM liegt, kann die GPU mit voller Geschwindigkeit verarbeiten. Das betrifft die Gewichte des Modells und den Kontext. Läuft der VRAM über, müssen Teile in den langsameren Arbeitsspeicher ausgelagert werden, und die Leistung sinkt deutlich. VRAM ist meist sehr schnell angebunden. Die Nvidia GeForce RTX 5090 bietet 32 GB GDDR7 an einem 512-Bit-Interface mit 1792 GB/s Speicherbandbreite. Das reicht für 27B-Modelle samt Kontext, aber nicht, um 70B-Modelle komplett zu laden. Bei Geräten mit Unified Memory gibt es keinen getrennten VRAM. Dort teilen sich Grafik und CPU den Speicher, wie beim Apple Mac Studio (M5 Max, 36 GB).