KI-Kiste

KV-Cache erklärt

Der KV-Cache (Key-Value-Cache) speichert für jedes bereits verarbeitete Token Zwischenergebnisse des Attention-Mechanismus, die sogenannten Keys und Values. Dadurch muss das Modell bei jedem neuen Token nicht den gesamten bisherigen Text neu berechnen. Der Cache wächst linear mit der Kontextlänge und kommt zum Speicherbedarf der Modellgewichte hinzu. Qwen 3.8-27B unterstützt nativ 262.144 Tokens Kontext, Gemma 4 je nach Größe 128K oder 256K. Wer solche Längen ausnutzt, braucht entsprechend viel freien Speicher. Beim Apple Mac mini (M5 Pro, 24 GB) belegen die Gewichte von Qwen 3.8-27B als 4-Bit-Quant bereits rund 16 GB. Für den KV-Cache bleibt dann wenig Platz, langer Kontext wird knapp. In llama.cpp lässt sich der Cache selbst quantisieren, etwa auf 8 Bit. Das spart Speicher, kann aber die Qualität leicht mindern.