Welche Rolle spielt das Betriebssystem bei lokaler KI?
Das Betriebssystem ist die Grundsoftware eines Rechners, etwa macOS, Windows oder Linux. Für lokale KI bestimmt es, welche Beschleunigung zur Verfügung steht. Auf Macs nutzen llama.cpp und andere Programme die Apple-GPU über Metal. Nvidia-Karten wie die GeForce RTX 5090 laufen unter Windows und Linux mit CUDA, AMD-Grafik meist über Vulkan oder ROCm. Außerdem belegt das System selbst einige Gigabyte Arbeitsspeicher, die dem Modell fehlen. Bei 16 GB wie im Geekom A5 Pro passt unter anderem deshalb ein Modell mit rund 16 GB Gewichten wie Qwen 3.8-27B nicht. Bei Rechnern mit gemeinsamem Speicher teilen sich System, Programme und Modell denselben Pool. Die Macs kommen mit macOS, der GEEKOM IT15 wird mit vorinstalliertem System ausgeliefert. Vor einem Wechsel zu Linux lohnt die Prüfung, wie gut die Grafiktreiber des Geräts unterstützt werden.