KI-Kiste

Was ist ein Token?

Sprachmodelle lesen und schreiben Text nicht buchstaben- oder wortweise. Sie arbeiten mit Token. Ein Token kann ein kurzes Wort, ein Wortteil, ein Satzzeichen oder ein Leerzeichen mit Wortanfang sein. Lange deutsche Komposita werden meist in mehrere Token zerlegt. Token sind die Maßeinheit für zwei wichtige Werte. Der Kontext gibt an, wie viele Token ein Modell gleichzeitig berücksichtigt; bei Qwen 3.8-27B sind es nativ 262.144 Token. Die Ausgabegeschwindigkeit wird in Token pro Sekunde (Token/s) gemessen. Sie hängt bei der lokalen KI stark von der Speicherbandbreite ab. Deshalb gibt die Nvidia GeForce RTX 5090 mit 1792 GB/s Token deutlich zügiger aus als etwa der Geekom A5 Pro mit 51,2 GB/s, sofern das Modell in den Speicher passt.