Was ist Rechenleistung?
Rechenleistung beschreibt, wie viele Operationen ein Prozessor pro Sekunde ausführt. Bei KI-Hardware wird sie oft in TOPS (Tera Operations per Second, Billionen Operationen pro Sekunde) angegeben. Der GEEKOM IT15 wirbt zum Beispiel mit 99 TOPS KI-Leistung. Solche Werte sagen allein aber wenig über die Praxis. Bei Sprachmodellen kommt es auf die Phase an: Das Einlesen des Prompts hängt stark von der Rechenleistung ab, vor allem bei langen Texten oder viel Code. Das Ausgeben der Antwort Token für Token bremst dagegen meist die Speicherbandbreite. Ein Gerät mit hohen TOPS, aber langsamem Speicher antwortet daher trotzdem zäh. Spezielle Einheiten wie die Neural Accelerators in den GPU-Kernen von M5- und M6-Chips sollen vor allem die rechenintensiven Teile beschleunigen.