KI-Kiste

Was bedeutet Token pro Sekunde?

Sprachmodelle zerlegen Text in Token. Das sind Wortteile, im Deutschen oft etwas weniger als ein ganzes Wort. Token pro Sekunde (tok/s) gibt an, wie viele davon ein System pro Sekunde erzeugt. Es ist die wichtigste Kennzahl für das gefühlte Tempo. Werte um 10 tok/s reichen zum Mitlesen, beim Programmieren mit langen Antworten sind deutlich höhere Werte angenehmer. Den Wert begrenzt vor allem die Speicherbandbreite. Als Faustregel ergibt die Bandbreite geteilt durch die Modellgröße die theoretische Obergrenze. Bei einem etwa 16 GB großen 27B-Modell in Q4 liegt sie auf dem Mac mini M6 mit 170 GB/s bei rund 10 tok/s, auf der RTX 5090 mit 1792 GB/s bei gut 100 tok/s. Gemessene Werte liegen darunter. Techniken wie spekulatives Decoding (etwa MTP) können das Tempo erhöhen.