KI-Kiste

Was sind Benchmarks?

Benchmarks sind wiederholbare Tests, die Leistung in Zahlen fassen. Bei KI gibt es zwei Arten. Hardware-Benchmarks messen etwa, wie viele Token pro Sekunde ein Gerät mit einem bestimmten Modell und einer bestimmten Quantisierung erzeugt. Modell-Benchmarks prüfen dagegen die Qualität, zum Beispiel beim logischen Schließen oder beim Programmieren. So schlägt das lokale Qwen 3.8-27B laut heise in mehreren Benchmarks das frühere Spitzenmodell Claude Opus 4.6. Vergleichbar sind Ergebnisse nur, wenn die Bedingungen gleich sind: dasselbe Modell, dieselbe Quantisierung (etwa Q4), dieselbe Software wie llama.cpp mit demselben Backend und dieselbe Kontextlänge. Ein Wert wie »20 Token pro Sekunde« sagt ohne diese Angaben wenig. Einzelne Benchmark-Siege bedeuten zudem nicht, dass ein Modell in jeder Aufgabe besser ist.