KI-Kiste

Über Jonas Wehrmann

user-content-Jonas Wehrmann

Jonas Wehrmann recherchiert und vergleicht für KI-Kiste Hardware, auf der Sprachmodelle und Bildgeneratoren lokal laufen, also ohne Cloud-Abo und ohne dass deine Daten das Haus verlassen. Er selbst nutzt einen leisen Tower mit einer gebrauchten 24-GB-Grafikkarte als Programmierhilfe und für die Volltextsuche in den eigenen Rechnungen und Notizen. Mittelgroße Modelle für Alltagsfragen lässt er dagegen lieber auf einem sparsamen Mini-PC laufen, weil der rund um die Uhr an sein darf. Am häufigsten überschätzt findet er die TOPS-Angaben der NPUs in „KI-PCs“. Was fast immer übersehen wird: Wie schnell ein Modell antwortet, hängt vor allem von Speichergröße und Speicherbandbreite ab.

Wie ich auswähle und bewerte

Meine Bewertungen stützen sich auf Amazon-Angebote samt beobachteter Preisentwicklung, Verfügbarkeit und Kundenbewertungen, auf die Datenblätter und Produktseiten der Hersteller sowie auf veröffentlichte unabhängige Tests und Messungen, die ich miteinander abgleiche. Jedes Gerät vergleiche ich nach denselben Kriterien:

  • Nutzbarer Speicher (VRAM oder Unified Memory): Für 7–8B-Modelle reichen 12 GB, für 14B solltest du 16 GB einplanen und für etwa 30B in 4-Bit 24 GB. Für 70B brauchst du rund 48 GB oder mehr. Dieses Kriterium entscheidet, welche Modellgröße überhaupt läuft.
  • Speicherbandbreite: Unter 100 GB/s wird es bei größeren Modellen zäh, ab etwa 250 GB/s macht das Arbeiten Spaß und dedizierte Grafikkarten liegen deutlich darüber. Hier geht es um Antworttempo gegen Kapazität.
  • Leerlauf- und Lastverbrauch: Wenn das Gerät dauerhaft läuft, sind unter 20 W im Leerlauf gut. Leistung oder Stromrechnung, das wird hier abgewogen.
  • Software-Unterstützung: Ich prüfe, ob llama.cpp, Ollama und gängige Bildgeneratoren ohne Bastelei laufen (CUDA, ROCm, Metal). Das entscheidet zwischen Komfort und Experimentierfreude.
  • Lautstärke unter Last: Ein Gerät, das im Wohnzimmer steht, darf nicht dröhnen. Leise Kühlung kostet dafür oft etwas Leistung oder Aufpreis.
  • Preis pro GB nutzbarem Speicher: Diese Kennzahl zeigt, ob ein Gebrauchtkauf oder ein neues System das bessere Angebot ist.

Ich teste nichts selbst und nichts im Labor. Affiliate-Provisionen haben keinen Einfluss auf die Reihenfolge meiner Empfehlungen.