Was ist der Kontext eines Sprachmodells?
Der Kontext, auch Kontextfenster genannt, umfasst alles, was ein Sprachmodell bei einer Antwort im Blick hat: Systemanweisung, bisherigen Chatverlauf, eingefügte Dokumente und die eigene Ausgabe. Er wird in Token gemessen. Qwen 3.8-27B bietet nativ 262.144 Token. Gemma 4 kommt bei den kleinen Varianten auf 128K und bei den mittleren auf 256K Token. Für die lokale KI ist wichtig, dass ein langer Kontext zusätzlichen Arbeitsspeicher belegt. Der Zwischenspeicher für bereits verarbeitete Token wächst mit jeder Eingabe. Deshalb reicht ein Gerät manchmal für die Gewichte eines Modells, aber nicht für lange Dokumente. Beim Apple Mac mini (M5 Pro, 24 GB) passt ein 27B-Modell als 4-Bit-Quant, für Langkontext bleibt aber wenig Puffer. Die Nvidia GeForce RTX 5090 fasst mit 32 GB VRAM ein 27B-Modell samt Kontext.