KI-Kiste

Die CPU bei lokaler KI erklärt

Die CPU (Central Processing Unit) ist der Hauptprozessor. Sie führt Betriebssystem und Programme aus und kann Sprachmodelle auch ohne Grafikeinheit berechnen, meist aber deutlich langsamer als eine GPU. Bei der lokalen KI ist für die Token-Ausgabe weniger die Kernzahl entscheidend als die Speicherbandbreite, also wie viele Gigabyte pro Sekunde aus dem Arbeitsspeicher kommen. Deshalb laufen größere Modelle zäh, wenn nur normaler DDR5-Speicher mit 89,6 GB/s anliegt wie im GEEKOM IT15 und im Minisforum UM890 Pro. Bei den Systemen ohne eigene Grafikkarte reicht die Spanne im Katalog von 51,2 GB/s beim Geekom A5 Pro bis 460 GB/s beim Mac Studio mit M5 Max. Dieses Tempo kommt dort von der integrierten GPU und dem Unified Memory (gemeinsamer Speicher für CPU und Grafik), nicht von der CPU. Die Grafikkarte RTX 5090 schafft sogar 1.792 GB/s. Mit 36 GB reicht der Mac Studio für Modelle bis etwa 27B, für große Modelle ist der Bosgame M5 mit 128 GB die bessere Wahl. Achte beim Kauf daher auf die Bandbreite, auf Unified Memory und darauf, ob sich der RAM später aufrüsten lässt.