Lokale KI erklärt
Lokale KI bedeutet, dass ein Sprach- oder Bildmodell auf eigener Hardware läuft, zum Beispiel mit llama.cpp. Eingaben verlassen das Gerät nicht, es gibt keine Nutzungslimits, und eine Internetverbindung ist nach dem Download nicht nötig. Lokale Modelle liegen etwa ein halbes Jahr hinter den führenden Cloud-Modellen von OpenAI, Anthropic oder Google zurück. Sie sind aber inzwischen sehr leistungsfähig: Qwen 3.8-27B schlägt in mehreren Benchmarks Claude Opus 4.6, das im Februar 2026 führende Cloud-Modell. Entscheidend für die Hardware sind die Größe des Arbeitsspeichers bzw. VRAM und die Speicherbandbreite. Für ein 27B-Modell als 4-Bit-Quant reichen 24 GB, etwa beim Apple Mac mini (M6, 24 GB, 512 GB). Mit 16 GB wie beim Geekom A5 Pro passt dieses Modell nicht.