KI-Kiste

Lokale KI einrichten: Ollama und LM Studio Schritt für Schritt

Lokale KI einrichten: Ollama und LM Studio Schritt für Schritt

Ollama oder LM Studio ist in zehn Minuten installiert. Ob du danach flüssig mit einem lokalen Modell arbeitest oder jedem Wort beim Erscheinen zusiehst, hängt an einer einfachen Rechnung: Modellgewichte plus Kontext gegen deinen Speicher. Qwen 3.8-27B belegt zum Beispiel in 4-Bit-Quantisierung schon rund 16 GB, bevor auch nur ein Token Kontext dazukommt. Ich zeige dir, wie du beide Programme einrichtest, das passende Modell für deinen Rechner auswählst und das Tempo selbst nachmisst.

Wenn du den Artikel nur überfliegst, reichen dir diese vier Punkte:

Werkzeug: Tippen oder Klicken. Ollama läuft als Dienst im Hintergrund und stellt eine lokale API bereit. Das ist praktisch, wenn das Modell später in einem Code-Editor oder einer eigenen Chat-Oberfläche antworten soll. LM Studio ist der bequemere Einstieg: Du suchst Modelle per Mausklick und chattest im selben Fenster.

Speicher: die Rechnung vor dem Download. VRAM ist der eigene Speicher der Grafikkarte. Unified Memory ist der gemeinsame Speicher von Prozessor und Grafik, wie ihn Apple-Chips und Mini-PCs wie der Bosgame M5 nutzen. Dort braucht das Modell Platz für seine Gewichte, also die gelernten Parameter, und zusätzlich für den Kontext, das Kurzzeitgedächtnis des Gesprächs. Auf einem Mac mini (M6, 24 GB) startet Qwen 3.8-27B zwar, doch weil macOS und deine offenen Programme ebenfalls Speicher wollen, bleibt für langen Kontext kaum Luft. Läuft der Speicher über, weicht das Modell in langsameren Arbeitsspeicher oder auf den Prozessor aus. Dann wird aus flüssigem Text ein Tröpfeln.

Diese Rechnung lohnt sich gerade vor einem Hardwarekauf. KI-taugliche Hardware ist teuer geworden, selbst ältere Grafikkarten werden gebraucht zu Preisen weit über ihrem einstigen Neupreis gehandelt (Zahlen dazu findest du in den häufigen Fragen). Wer da nach Gefühl kauft, zahlt schnell für Speicher, den er nie braucht, oder hat am Ende zu wenig davon.

Modell: gut genug für viel Alltag. Der Rückstand auf OpenAI, Anthropic und Google klingt nach viel, ist es aber nicht unbedingt. Für Code-Hilfe, Zusammenfassungen und Textentwürfe genügt ein aktuelles lokales Modell oft, bei den kniffligsten Denkaufgaben bleibt die Cloud vorn. Welche zwei Modellfamilien du kennen solltest und wie viel Speicher sie brauchen, steht im nächsten Abschnitt.

Messung: Zahlen von deinem eigenen Rechner. Fremde Benchmarks laufen oft mit anderer Quantisierung, anderer Kontextlänge oder anderen Treibern, und schon sind die Werte nicht mehr mit deinem Rechner vergleichbar. Ein schneller Praxischeck: Wenn du schneller liest, als der Text erscheint, wird die Arbeit damit zäh.

Meine Reihenfolge für den Start

Erst rechnen, dann laden, dann messen. Prüfe, ob Gewichte plus Kontext in deinen Speicher passen. Lade zuerst ein Modell mit sichtbarem Puffer. Schau dir danach die Tokens pro Sekunde an, bevor du zur nächstgrößeren Variante greifst. Das spart Download-Zeit und manchmal auch einen unnötigen Hardwarekauf.

Passt das Modell in deinen Speicher?

Bevor du ein Modell herunterlädst, solltest du kurz nachrechnen. Das dauert eine Minute und erspart dir den Download von 30 GB, die dein Rechner dann nur mit 2 Tokens pro Sekunde abarbeitet. Die Grundformel lautet: Parameterzahl × Bit pro Gewicht ÷ 8 = Gigabyte für die Gewichte. Dazu kommen der Kontext und etwas Puffer. Alles zusammen muss in den VRAM der Grafikkarte passen oder, bei Macs und Rechnern wie dem Bosgame M5, in den Unified Memory.

Den größten Hebel hast du bei der Quantisierung. Dabei werden die Gewichte mit weniger Bit gespeichert, statt mit 16 Bit nur noch mit etwa 4 Bit. Ein Modell mit 27 Milliarden Parametern bräuchte in voller 16-Bit-Präzision rund 54 GB. Mit 4 Bit landest du bei einem Viertel davon. Die Qualität leidet bei 4 Bit nach den verbreiteten Erfahrungswerten nur wenig, unterhalb von 3 Bit dagegen spürbar.

  • 16 GBQwen 3.8-27B als Unsloth-GGUF UD-Q4_K_XL (etwa 4 Bit)
  • 54 GBdasselbe Modell ungefähr in voller 16-Bit-Präzision
  • 5 GrößenGemma 4 als E2B, E4B, 12B, 26B A4B (MoE) und 31B
  • 262.144 Tokennativer Kontext von Qwen 3.8-27B, per YaRN auf 512K erweitert

Die zwei Modelle, die du kennen solltest

Qwen 3.8-27B ist derzeit der Maßstab für lokale KI auf normaler Hardware. Als Unsloth-GGUF in der Variante UD-Q4_K_XL belegt es rund 16 GB. Laut heise schlägt es in mehreren Benchmarks Claude Opus 4.6, das im Februar 2026 noch das führende Cloud-Modell war. Ein Spitzenmodell von vor neun Monaten passt damit auf eine Gaming-Grafikkarte.

Gemma 4 von Google gibt es in fünf Größen. E2B und E4B sind für schwache Geräte gedacht. 12B, 26B A4B und 31B zielen auf Grafikkarten und Workstations. Das „A4B“ beim 26B-Modell steht für Mixture of Experts: Pro Token rechnen nur etwa 4 Milliarden Parameter. Das macht das Modell schnell, im Speicher liegen müssen aber trotzdem alle 26 Milliarden. Die Lizenz ist Apache 2.0, du darfst die Modelle also auch kommerziell einsetzen. Der Kontext beträgt 128K Token bei den kleinen und 256K bei den mittleren Modellen.

Langer Kontext ist nicht gratis

Jedes Token im Kontextfenster belegt Speicher im sogenannten KV-Cache. Bei einem 27B-Modell kommen je nach Architektur schon bei 32K Token schnell mehrere Gigabyte zu den Gewichten dazu. Die 512K Token, auf die Qwen 3.8-27B per YaRN gestreckt wurde, liefen auf einem MacBook Pro M5 mit 128 GB Unified Memory. Auf einem 24-GB-Rechner solltest du so ein Kontextfenster nicht erwarten.

Was in 8, 24, 36 und 128 GB passt

Eine Einschränkung vorweg: macOS gibt der GPU standardmäßig nicht den ganzen Unified Memory, sondern hält grob ein Viertel bis ein Drittel für das System zurück. Bei einer Grafikkarte zieht der Desktop ebenfalls ein paar hundert MB ab. Die folgenden Werte sind deshalb Faustregeln und keine Garantie.

Speicher Läuft gut Wird eng oder geht nicht
8 GB VRAM Gemma 4 E2B und E4B in 4 Bit mit großzügigem Kontext Gemma 4 12B in 4 Bit belegt etwa 7 GB, für Kontext bleibt kaum Platz. 27B geht nicht.
24 GB Unified Memory Gemma 4 12B mit langem Kontext Qwen 3.8-27B Q4 (16 GB) und Gemma 4 26B A4B nur knapp und mit kleinem Kontext, weil macOS einen Teil reserviert
36 GB Unified Memory Qwen 3.8-27B Q4 plus mehrere GB Kontext, Gemma 4 31B in 4 Bit (grob 18 bis 19 GB) 27B in 8 Bit (etwa 29 GB) lässt kaum Luft
128 GB Unified Memory 27B in 8 Bit mit sehr langem Kontext, große MoE-Modelle Erst Modelle mit deutlich über 100 Milliarden Parametern in 4 Bit stoßen an die Grenze

Ein Beispiel für die 8-GB-Klasse ist die RTX 5070 Laptop GPU im ASUS ROG GR70. Sie hat nur 8 GiB VRAM. Mit Gemma 4 E4B kommt sie laut igorslab gut zurecht, für 27B-Modelle reicht sie aber nicht. Die 64 GiB Arbeitsspeicher im Testsystem von igorslab helfen dabei wenig. Was nicht in den VRAM passt, wird in den langsameren Systemspeicher ausgelagert, und dann bricht das Tempo deutlich ein.

Welche Geräte aus dem Katalog in welche Zeile fallen, ordne ich im Abschnitt zur Hardware weiter unten ein.

Mein Rat: Rechne vorher grob nach und plane 20 bis 30 Prozent Puffer für Kontext und System ein. Wie viel Speicher tatsächlich belegt ist, prüfst du nach dem ersten Start, zum Beispiel mit ollama ps oder in der Speicheranzeige von LM Studio.

Ollama oder LM Studio: Was passt zu dir?

Die Frage klingt nach Glaubenskrieg, ist aber eher eine Stilfrage. Beide Programme holen ein Modell auf deinen Rechner, laden es in den Speicher und lassen dich damit chatten oder per Schnittstelle darauf zugreifen. Der Unterschied liegt darin, wie du das tust und wofür du das Modell danach brauchst.

Ollama ist im Kern ein Dienst, der im Hintergrund läuft. Du bedienst ihn über das Terminal: ollama pull lädt ein Modell herunter, ollama run startet den Chat direkt in der Kommandozeile. Gleichzeitig stellt Ollama eine lokale API auf Port 11434 bereit. Darüber können Editoren, Skripte oder Tools wie Open WebUI mit dem Modell sprechen, ohne dass du ein Fenster offen haben musst. Wer schon mal einen Webserver aufgesetzt hat, fühlt sich sofort zu Hause. Wer beim Wort „Terminal“ zusammenzuckt, eher nicht.

LM Studio geht den umgekehrten Weg und setzt auf eine grafische Oberfläche. Die eingebaute Suche durchstöbert Hugging Face, die große Plattform für offene Modelle, nach GGUF-Dateien. GGUF ist das Dateiformat, in dem quantisierte Modelle für llama.cpp verpackt werden. Auf dem Mac kommen zusätzlich MLX-Modelle dazu, also Varianten für Apples eigenes Machine-Learning-Framework, das speziell auf Apple Silicon zugeschnitten ist. Wenn du zum Beispiel einen Apple Mac mini (M6, 24 GB) einsetzen willst, bekommst du mit LM Studio dieses zweite Format ohne Umwege. Einen Server gibt es trotzdem: LM Studio startet auf Wunsch einen OpenAI-kompatiblen Server auf Port 1234. Programme, die eigentlich mit der OpenAI-API reden, kannst du also meist einfach auf deinen eigenen Rechner umbiegen.

Kriterium Ollama LM Studio
Bedienung Terminal mit ollama pull und ollama run Grafische Oberfläche mit Chatfenster
Betriebsart Dienst im Hintergrund, startet mit dem System Programm, das du öffnest, Server bei Bedarf zuschaltbar
Modellquelle Eigene Modellbibliothek, Download per Befehl Hugging-Face-Suche nach GGUF-Dateien, auf dem Mac zusätzlich MLX
Schnittstelle Lokale API auf Port 11434 OpenAI-kompatibler Server auf Port 1234
Rechen-Engine llama.cpp llama.cpp, auf dem Mac zusätzlich MLX
Stärken Automatisierung, Skripte, Dauerbetrieb, Server ohne Bildschirm Modelle ausprobieren, Quantisierungen vergleichen, Einstieg ohne Kommandozeile
Passt zu dir, wenn … du eine API für andere Tools brauchst du lieber klickst und erst einmal sehen willst, was geht

Beim Tempo nimmt sich das nichts

Ein häufiges Missverständnis: Das eine Programm sei „schneller“ als das andere. Beide nutzen intern llama.cpp, die quelloffene Bibliothek, die das eigentliche Rechnen übernimmt. Lädst du dasselbe Modell in derselben Quantisierung, also mit derselben Bitzahl pro Gewicht, landest du bei sehr ähnlichen Tokens pro Sekunde. Wenn du in Foren Zahlen siehst, die stark auseinanderliegen, wurde meist ein anderes Modell, eine andere Quantisierung oder ein anderer Kontext verwendet.

Die wichtigere Frage bleibt die aus dem vorigen Abschnitt: Passt Modell plus Kontext in deinen VRAM oder dein Unified Memory? Dort entscheidet sich, ob es flüssig läuft. Ollama oder LM Studio ändern daran nichts. Die Wahl betrifft also den Komfort, nicht die Leistung. Eine Ausnahme ist der Mac: Dort kann ein MLX-Modell in LM Studio anders abschneiden als die GGUF-Variante. Wie groß der Abstand bei dir ausfällt, misst du am besten selbst nach, statt dich auf Forenberichte zu verlassen.

Du musst dich nicht festlegen

Beide Programme lassen sich problemlos nebeneinander installieren, weil sie unterschiedliche Ports belegen. Viele nutzen LM Studio zum Stöbern und Ausprobieren und Ollama für den Dauerbetrieb hinter einem Editor oder einer Weboberfläche. Beachte nur, dass beide geladene Modelle im Speicher halten. Laufen beide gleichzeitig, teilen sie sich denselben VRAM.

Die dritte Option: Docker

Wenn du ohnehin mit Containern arbeitest, brauchst du vielleicht keins der beiden Programme. Gemma 4 liegt seit April 2026 auf Docker Hub und lässt sich mit docker model pull gemma4 laden. Das ist vor allem dann praktisch, wenn deine Anwendung schon als Docker-Compose-Setup läuft und das Modell einfach ein weiterer Baustein darin sein soll. Für den reinen Einstieg ist dieser Weg allerdings Umweg statt Abkürzung. Wer Docker nicht schon täglich nutzt, installiert es nicht extra für ein Sprachmodell.

Meine Empfehlung in einem Satz: Nimm LM Studio, wenn du zum ersten Mal lokale KI ausprobierst oder auf dem Mac MLX nutzen willst. Nimm Ollama, sobald andere Programme dauerhaft auf das Modell zugreifen sollen. Docker lohnt sich nur, wenn dein Projekt ohnehin in Containern läuft.

Ollama einrichten in fünf Schritten

Die Installation selbst ist schnell erledigt. Die meisten Probleme entstehen danach, wenn man sofort das größte Modell lädt und den Kontext unbemerkt zu hoch einstellt. Ich gehe deshalb bewusst in kleinen Schritten vor. Jeder Schritt lässt sich einzeln prüfen, bevor du den nächsten machst.

  1. Ollama installieren. Unter Windows und macOS lädst du den Installer von der Ollama-Website und klickst dich durch. Danach läuft Ollama als Dienst im Hintergrund. Unter Linux kopierst du den Einzeiler von der Downloadseite ins Terminal. Das Installationsskript richtet auch den Systemdienst ein und erkennt eine vorhandene Nvidia- oder AMD-Grafikkarte.
  2. Installation prüfen. Öffne ein neues Terminalfenster und tippe ollama --version. Erscheint eine Versionsnummer, ist alles in Ordnung. Kommt „command not found“, fehlt Ollama im Suchpfad. Meist hilft es, das Terminal neu zu starten oder sich einmal ab- und wieder anzumelden.
  3. Mit einem kleinen Modell anfangen. Nimm zuerst ein Modell, das sicher in deinen Speicher passt, etwa Gemma 4 E4B mit ollama run gemma4:e4b. Den genauen Tag findest du in der Modellübersicht von Ollama. Laut igorslab läuft E4B in 4-Bit-Quantisierung sogar auf einer RTX 5070 Laptop GPU mit nur 8 GiB VRAM. Erst wenn das klappt, wechselst du auf 12B oder ein 27B-Modell.
  4. Kontextfenster bewusst festlegen. In einer laufenden Sitzung setzt du die Größe mit /set parameter num_ctx 8192. Dauerhaft geht das über eine Modelfile-Zeile PARAMETER num_ctx 8192 oder über die Optionen im API-Aufruf. Fang moderat an und erhöhe den Wert nur, wenn du lange Dokumente oder viel Code verarbeiten willst.
  5. Mit ollama ps kontrollieren. Solange das Modell geladen ist, zeigt dieser Befehl, wie viel Speicher es belegt und wo es liegt. In der Spalte PROCESSOR sollte „100% GPU“ stehen. Auf einem Mac mit Unified Memory gilt dieselbe Anzeige.

Warum num_ctx der wichtigste Regler ist

Das Kontextfenster ist die Textmenge in Token, die das Modell gleichzeitig im Blick behält. Je größer du es einstellst, desto mehr Speicher reserviert der KV-Cache zusätzlich zu den Gewichten. Wer num_ctx einfach auf das Maximum stellt, verschiebt deshalb einen Teil des Modells aus dem VRAM in den deutlich langsameren Arbeitsspeicher. Das Modell läuft dann weiter, aber spürbar langsamer, und eine Fehlermeldung bekommst du dabei nicht.

Ein Beispiel: Die Gewichte von Qwen 3.8-27B in 4-Bit belegen rund 16 GB. Auf einer Karte mit 16 GB VRAM bleibt damit schon ohne Kontext nichts übrig. Ein großzügiges Kontextfenster lagert das Modell dort zwangsläufig teilweise aus. Auf einem Mac mini (M6, 24 GB) ist mehr Luft. Allerdings braucht auch macOS einen Teil der 24 GB, sodass du den Kontext dort ebenfalls nicht beliebig hochdrehen solltest.

Ein Modell nach dem anderen

Ollama kann mehrere Modelle gleichzeitig im Speicher halten. Wenn du vom kleinen Modell auf 12B wechselst und ollama ps noch beide auflistet, teilen sie sich den Speicher. Mit ollama stop <modell> entlädst du das Modell, das du gerade nicht brauchst.

So liest du ollama ps

Anzeige unter PROCESSOR Bedeutung Was du tun solltest
100% GPU Modell und Kontext liegen vollständig im VRAM bzw. Unified Memory Nichts, so soll es aussehen
z. B. 20%/80% CPU/GPU Ein Teil wurde in den Arbeitsspeicher ausgelagert num_ctx senken oder eine kleinere Quantisierung wählen
100% CPU Die GPU wird gar nicht genutzt Treiber prüfen, gegebenenfalls Ollama neu installieren

Führ ollama ps am besten nach jeder Änderung an Modell oder Kontext aus. Der Befehl dauert eine Sekunde und zeigt dir sofort, ob deine Speicherrechnung aufgeht. Erst wenn dort „100% GPU“ steht, lohnt es sich, die Geschwindigkeit genauer zu messen. Ein Modell, das schon zur Hälfte ausgelagert ist, liefert nur mäßige Werte, egal wie gut deine Hardware auf dem Papier aussieht.

LM Studio einrichten und die richtige Laufzeit wählen

Die Installation selbst ist unspektakulär: Installer herunterladen, durchklicken, starten. Spannend wird es danach an zwei Stellen, nämlich bei der Wahl der Quantisierung in der Modellsuche und bei der Laufzeit. Damit ist die Rechenbibliothek gemeint, die das Modell tatsächlich auf deiner Hardware ausführt. Die Oberfläche nimmt dir viel ab, aber die Entscheidung bei der Laufzeit solltest du nicht dem Zufall überlassen.

Modell suchen: Die Speicheranzeige ernst nehmen

In der Modellsuche gibst du zum Beispiel „Gemma 4“ ein und bekommst die passenden GGUF-Varianten von Hugging Face angezeigt. Praktisch ist, dass LM Studio neben jeder Datei markiert, welche Quantisierung voraussichtlich in deinen Speicher passt. Das Programm gleicht dafür die Dateigröße mit deinem VRAM beziehungsweise Unified Memory ab. Das Wort „voraussichtlich“ ist dabei wichtig, denn der Kontext kommt im Betrieb noch obendrauf. Eine Datei, die gerade so als passend markiert ist, wird mit langem Kontext schnell zu groß.

Als Startpunkt eignen sich Q4-Varianten wie Q4_K_XL. Die Gewichte liegen dort mit etwa 4 Bit vor, das Modell schrumpft also auf ungefähr ein Viertel der 16-Bit-Größe. Bei alltäglichen Aufgaben verliert es dabei spürbar weniger Qualität, als die Zahl vermuten lässt. Q8 lohnt sich nur, wenn reichlich Speicher übrig ist. Q2 und Q3 sind eher eine Notlösung für Geräte, auf denen sonst gar nichts läuft.

Die Laufzeit entscheidet über das Tempo

LM Studio bringt mehrere Laufzeiten mit. Welche du im Laufzeitbereich der Einstellungen auswählst, macht bei identischem Modell einen messbaren Unterschied. Ein Beispiel liefert igorslab: Auf dem ASUS ROG GR70 mit RTX 5070 Laptop-GPU lief Gemma 4 E4B in der Quantisierung Q4_K_XL unter llama.cpp mit CUDA schneller als mit Vulkan. Vulkan ist eine herstellerübergreifende Grafikschnittstelle, CUDA dagegen Nvidias eigene, speziell abgestimmte Plattform. Mit einer Nvidia-Karte gibt es deshalb kaum einen Grund, Leistung zu verschenken.

Deine Hardware Empfohlene Laufzeit Modellformat
Nvidia-Grafikkarte, z. B. Nvidia GeForce RTX 5090 CUDA (llama.cpp) GGUF
AMD-Grafikkarte, z. B. Radeon RX 9070 XT Vulkan (llama.cpp) GGUF
Mini-PC mit integrierter Grafik, z. B. Geekom A5 Pro, Minisforum UM890 Pro, GEEKOM IT15, Bosgame M5 Vulkan (llama.cpp) GGUF
Apple-Silicon-Mac, z. B. Apple Mac mini (M6, 24 GB) oder Apple Mac Studio (M5 Max, 36 GB) MLX MLX

Auf AMD-Karten und Mini-PCs mit integrierter Grafik ist Vulkan meist die Option, die ohne Bastelei funktioniert. Auf Apple-Silicon-Macs empfehle ich MLX, weil es direkt auf den Unified Memory zugeschnitten ist. Achte dann in der Suche darauf, die MLX-Version eines Modells zu laden und nicht die GGUF-Datei. GGUF funktioniert auf dem Mac zwar auch über die llama.cpp-Laufzeit, verschenkt dort aber in der Regel Tempo.

Profi-Tipp: Laufzeit vor dem ersten Laden prüfen

LM Studio wählt beim ersten Start eine Laufzeit vor. Das ist nicht zwingend die schnellste. Schau deshalb einmal in die Laufzeit-Einstellungen, bevor du das erste Modell lädst. Auf einem Nvidia-Rechner sollte dort CUDA stehen, auf einem Mac MLX. Wenn dir eine Antwort verdächtig langsam vorkommt, ist eine falsche Laufzeit eine der häufigsten Ursachen und schneller behoben als jede Hardwarediskussion.

GPU-Offload: Der Regler, den viele übersehen

Beim Laden eines Modells öffnet sich ein Dialog mit dem Regler GPU-Offload. Er legt fest, wie viele Schichten des Modells auf die Grafikkarte wandern. Ein Sprachmodell besteht aus vielen hintereinander geschalteten Schichten, bei Gemma 4 E4B ebenso wie bei Qwen 3.8-27B. Steht der Regler auf Maximum, rechnet alles auf der GPU. Steht er niedriger, übernimmt die CPU einen Teil der Schichten, und die ist für diese Aufgabe deutlich langsamer. Die Gesamtgeschwindigkeit richtet sich dann nach dem langsamsten Glied.

Der Regler ist trotzdem nützlich, nämlich als Notausgang. Wenn ein Modell knapp nicht in die 8 GiB VRAM einer Laptop-GPU passt, kannst du ein paar Schichten auslagern und es läuft überhaupt. Rechne dann aber mit einem deutlichen Tempoverlust. Auf Macs und Mini-PCs mit Unified Memory teilen sich CPU und Grafikeinheit ohnehin denselben Speicher, dort sollte der Regler einfach ganz rechts stehen. Meine Faustregel: Wenn du den Regler zurückdrehen musst, ist das Modell zu groß für deine Hardware. Eine kleinere Quantisierung oder ein kleineres Modell ist dann meist die bessere Wahl als halber Offload.

Tempo selbst messen statt glauben

Benchmarks aus Foren und Videos helfen bei der Vorauswahl. Ob ein Modell auf deinem Rechner flüssig läuft, zeigt dir aber nur eine eigene Messung. Die dauert keine fünf Minuten. In Ollama startest du das Modell mit ollama run <modell> --verbose. Nach jeder Antwort erscheint dann eine kleine Statistik, und die entscheidende Zeile heißt „eval rate“: So viele Tokens pro Sekunde schreibt das Modell. Ein Token entspricht grob einer Silbe bis einem kurzen Wort. LM Studio zeigt denselben Wert ohne Zusatzbefehl direkt unter jeder Antwort an, zusammen mit der Zeit bis zum ersten Token.

In derselben Ausgabe steht bei Ollama auch die „prompt eval rate“. Sie gibt an, wie schnell das Modell deine Eingabe einliest. Diese Zahl ist meist um ein Vielfaches höher als die Ausgaberate. Wer beide Werte durcheinanderwirft, hält einen lahmen Rechner für schnell. Notiere die zwei Werte deshalb getrennt. Bei kurzen Chatfragen zählt fast nur die Ausgabe. Wenn du dagegen lange Dokumente oder ganze Codeordner einfügst, entscheidet die Prompt-Verarbeitung, wie lange du vor einem leeren Fenster sitzt.

So werden deine Zahlen vergleichbar

Ein fairer Vergleich, egal ob zwischen Ollama und LM Studio oder zwischen zwei Rechnern, braucht drei feste Größen: denselben Prompt, dieselbe Quantisierung (also wie stark die Gewichte komprimiert sind, etwa Q4 statt Q8) und dieselbe Kontextlänge. Ändert sich nur eine davon, vergleichst du nicht mehr Hardware, sondern Einstellungen. Am einfachsten hältst du die Werte in einer kleinen Notiztabelle fest:

Was du notierst Warum es zählt
Modell und Quantisierung Q4 und Q8 desselben Modells unterscheiden sich deutlich im Tempo
Eingestellter Kontext (num_ctx bzw. Kontextlänge in LM Studio) Ein größerer Kontext belegt mehr Speicher und kann Schichten auf die CPU verdrängen
Prompt-Länge und Prompt-Rate Zeigt, wie schnell lange Eingaben verarbeitet werden
Eval rate Das gefühlte Schreibtempo im Chat
GPU-Anteil laut ollama ps „100% GPU“ ist das Ziel, jede Aufteilung mit der CPU bremst stark

Typische Messfehler

Der häufigste Fehler ist die erste Antwort nach dem Start. Darin steckt die Ladezeit des Modells, Ollama weist sie als „load duration“ separat aus. Wirf diesen Durchlauf weg und miss erst ab dem zweiten oder dritten Prompt. Ähnlich trügerisch sind sehr kurze Antworten: Bei zwanzig Tokens schwankt die Rate stark. Bitte das Modell lieber um einige Absätze. Außerdem sinkt das Tempo, je voller der Kontext im Laufe eines langen Chats wird. Ein Wert aus einem frischen Chat ist also nicht mit einem nach einer Stunde Unterhaltung vergleichbar.

Dazu kommen Störfaktoren rund um die Messung. Ein Notebook im Akkubetrieb drosselt oft deutlich. Ein kompakter Mini-PC kann nach ein paar Minuten Dauerlast heruntertakten, und ein Browser mit dreißig Tabs belegt Speicher, der dann dem Modell fehlt. Miss deshalb am Netzteil, mit geschlossenen Programmen und lieber dreimal hintereinander. Erst der Mittelwert sagt etwas aus.

Warum Speicherbandbreite wichtiger ist als Rechenleistung

Wenn deine Zahlen enttäuschen, liegt das selten an zu wenig Rechenleistung. Beim Schreiben muss der Chip für jedes neue Token praktisch alle aktiven Gewichte einmal aus dem Speicher lesen. Den Takt gibt deshalb die Speicherbandbreite vor, also wie viele Gigabyte pro Sekunde der Chip aus dem Speicher holen kann. Als grobe Faustrechnung mit einer angenommenen Bandbreite von 100 GB/s: Ein Modell mit 16 GB Gewichten, etwa Qwen 3.8-27B in einer 4-Bit-Quantisierung, kommt damit rechnerisch auf höchstens rund sechs Tokens pro Sekunde. In der Praxis liegt der Wert eher darunter.

Deshalb sind Mini-PCs mit geteiltem RAM, bei denen sich CPU und integrierte Grafik den normalen Arbeitsspeicher teilen, langsamer als eine Grafikkarte mit gleich viel Speicher. Ein Geekom A5 Pro oder ein Minisforum UM890 Pro kann ein Modell zwar komplett laden. Der GDDR-Speicher einer dedizierten Karte wie der Nvidia GeForce RTX 5090 liefert die Daten aber um ein Vielfaches schneller. Apples Unified Memory und Chips wie der im Bosgame M5 liegen dazwischen: Sie bieten viel Platz und eine deutlich höhere Bandbreite als normaler Notebook-RAM, erreichen aber keine schnelle Grafikkarte. Kurz gesagt: Viel Speicher entscheidet, ob ein Modell überhaupt läuft. Die Bandbreite entscheidet, ob es Spaß macht. Genau das zeigt dir deine eigene „eval rate“ schneller als jedes Datenblatt.

Welche Hardware zu welchem Modell passt

Die Faustregel aus dem Speicherkapitel gilt auch beim Kauf: Modellgewichte plus Kontext müssen in den VRAM oder Unified Memory passen. Alles darüber hinaus ist Reserve, die du bezahlst, aber vielleicht nie nutzt. Ich habe die Geräte aus unserem Katalog deshalb nach der Modellklasse sortiert, die sie sinnvoll tragen. Zu jedem steht auch, wann es zu viel des Guten ist.

Modellklasse Grober Speicherbedarf (Q4 plus moderater Kontext) Passende Geräte
Gemma 4 E2B / E4B wenige GB Geekom A5 Pro
Gemma 4 12B unter 10 GB für die Gewichte Minisforum UM890 Pro, GEEKOM IT15, Mac mini M6, Mac mini M5 Pro
Qwen 3.8-27B rund 16 GB Gewichte plus Kontext Mac Studio (M5 Max, 36 GB), Nvidia GeForce RTX 5090
Große MoE-Modelle deutlich über 64 GB Bosgame M5 (128 GB)

Einstieg und 12B-Klasse: günstig, aber geduldig

Ideal für den günstigen Einstieg Geekom A5 Pro 3.7

Für 549 € reicht der Mini-PC, um Gemma 4 E2B und E4B auszuprobieren und Ollama oder LM Studio kennenzulernen. Wenn du von Anfang an mit 12B-Modellen arbeiten willst, ist er allerdings die falsche Wahl.

549,00 € Preis vom 16. Nov. 2026 Preis prüfen Mehr lesen →
Ideal für 12B-Modelle mit kleinem Budget Minisforum UM890 Pro (32 GB, 1 TB) 3.8

Mit 32 GB passt ein 12B-Modell samt ordentlichem Kontext in den Arbeitsspeicher. Die integrierte Grafik liefert die Tokens aber spürbar langsamer als ein Mac oder eine Grafikkarte, du brauchst also etwas Geduld.

1.159,00 € Preis vom 16. Nov. 2026 Preis prüfen Mehr lesen →
Ideal für 12B-Modelle auf Intel-Basis GEEKOM IT15 (Core Ultra 9 285H, 32 GB, 1 TB) 3.8

Beim Speicher spielt er in derselben Liga wie der Minisforum, kostet mit 1.399 € aber 240 € mehr. Das lohnt sich nur, wenn dir die Intel-Plattform aus anderen Gründen wichtig ist, denn für die KI bringt der Aufpreis keinen größeren Modellsprung.

1.399,00 € Preis vom 16. Nov. 2026 Preis prüfen Mehr lesen →

Bei den beiden 32-GB-Mini-PCs bremst die Speicherbandbreite, wie im Abschnitt zur Tempomessung erklärt: Ihr geteilter Arbeitsspeicher liefert die Gewichte deutlich langsamer als ein Mac oder eine Grafikkarte. Für Zusammenfassungen und gelegentliche Chats reicht das. Wenn du beim Programmieren auf jede Antwort wartest, wird es zäh.

Macs: bequem bis 12B, eng bei 27B

Ideal für 12B-Modelle mit MLX Apple Mac mini (M6, 24 GB, 512 GB) 4.2

Für 1.299 € laufen 12B-Modelle über MLX mit langem Kontext und ohne Auslagerung. Für Gemma 4 in der 12B-Klasse ist das aus meiner Sicht das stimmigste Paket im Katalog.

1.299,00 € Preis vom 16. Nov. 2026 Preis prüfen Mehr lesen →
Ideal, wenn 12B schneller laufen soll Apple Mac mini (M5 Pro, 24 GB, 512 GB) 4.2

Der M5 Pro bringt mehr Grafikleistung. Mit 24 GB steht dir aber genau so viel Speicher zur Verfügung wie beim M6-Modell für 400 € weniger. Ein größeres Modell bekommst du für den Aufpreis also nicht.

1.699,00 € Preis vom 16. Nov. 2026 Preis prüfen Mehr lesen →

Bei beiden Mac minis wird es für Qwen 3.8-27B eng. Die Gewichte belegen rund 16 GB, und macOS gibt der GPU nicht den kompletten Unified Memory frei. Für einen nennenswerten Kontext bleibt dann kaum noch Platz. Starten lässt sich das Modell zwar, angenehm arbeiten kannst du damit aber nicht.

Ideal für Qwen 3.8-27B mit Kontext Apple Mac Studio (M5 Max, 36 GB) 4.3

Mit 36 GB passen die 16 GB Gewichte plus ein langer Kontext, und für das System bleibt noch Reserve. Ab 2.599 € ist das die kleinste Apple-Konfiguration im Katalog, mit der du das aktuelle 27B-Modell ohne ständiges Rechnen betreiben kannst.

2.599,00 € Preis vom 16. Nov. 2026 Preis prüfen Mehr lesen →

Große Modelle und High-End-Grafik

Ideal für große MoE-Modelle Bosgame M5 (Ryzen AI Max+ 395, 128 GB, 2 TB) 4.3

Dank 128 GB Unified Memory lädt er auch große MoE-Modelle, bei denen pro Token nur ein Teil der Experten rechnet. Für 3.699 € kaufst du allerdings die Vorgängergeneration, denn der Ryzen AI Max+ PRO 495 ist bereits erschienen.

3.699,00 € Preis vom 16. Nov. 2026 Preis prüfen Mehr lesen →

Den Bosgame M5 empfehle ich nur, wenn du die 128 GB auch tatsächlich füllst. Für Qwen 3.8-27B allein ist er überdimensioniert, das schafft der deutlich günstigere Mac Studio ebenfalls.

Ideal für maximales Tempo mit 32 GB VRAM Nvidia GeForce RTX 5090 4.6

Mit 32 GB schnellem VRAM ist Qwen 3.8-27B samt Kontext kein Problem, und die Bandbreite liegt in einer anderen Liga als bei den Mini-PCs. Für 9.995 € allein für die Karte ist sie aber nur sinnvoll, wenn lokale KI zu deinem Arbeitsalltag gehört.

9.995,00 € Preis vom 16. Nov. 2026 Preis prüfen Mehr lesen →

Ehrlich gesagt: Zum Ausprobieren ist das zu viel

Wenn du lokale KI erst einmal kennenlernen willst, ist die RTX 5090 klar überdimensioniert. Laut heise reicht eine Radeon RX 9070 XT für rund 920 € in einem normalen Gaming-PC bereits für sinnvolle Arbeit, auch zum Programmieren. Prüfe also lieber zuerst, ob dir das Ergebnis im Alltag reicht. Aufrüsten kannst du später immer noch, und für einen Rückkauf zum Neupreis findest du derzeit kaum Abnehmer.

Alle Geräte im Preisvergleich

ProduktBewertungPreisKaufen
Nvidia GeForce RTX 5090 32 GB GDDR7 an 512 Bit: 27B-Modelle wie Qwen 3.8 laufen komplett im VRAM +32 GB VRAM: 27B-Modelle samt Kontext+512 Bit: zügigere Token-Ausgabe -Preis weit über der RX 9070 XT
★★★★★ 4.6 9.995,00 € Kaufen →
Apple Mac Studio (M5 Max, 36 GB) 36 GB Unified Memory für 27B-Modelle wie Qwen 3.8 – leise auf dem Schreibtisch +36 GB: Qwen 3.8-27B passt komplett+Neural Accelerator je GPU-Kern -36 GB verlötet, später nicht aufrüstbar
★★★★★ 4.3 2.599,00 € Kaufen →
Bosgame M5 (Ryzen AI Max+ 395, 128 GB, 2 TB) 128 GB Unified Memory im Mini-PC: Platz für große lokale LLMs +128 GB Unified Memory für große LLMs+Radeon 8060S: Bildgenerierung ohne Grafikkarte -RAM verlötet, später nicht aufrüstbar
★★★★★ 4.3 3.699,00 € Kaufen →
Apple Mac mini (M5 Pro, 24 GB, 512 GB) Top-Empfehlung 24 GB Unified Memory und 307 GB/s: lokale 27B-Modelle in einem 12,7-cm-Würfel +24 GB: 27B-Modelle als 4-Bit-Quant+307 GB/s: zügigere Token-Ausgabe -24 GB: wenig Puffer für Langkontext
★★★★★ 4.2 1.699,00 € Kaufen →
Apple Mac mini (M6, 24 GB, 512 GB) 24 GB Unified Memory: Qwen 3.8-27B im 4-Bit-Quant auf dem Schreibtisch +24 GB: 27B-Modelle als 4-Bit-Quant+Neural Accelerator pro GPU-Kern beschleunigt KI -24 GB: wenig Reserve für langen Kontext
★★★★★ 4.2 1.299,00 € Kaufen →
GEEKOM IT15 (Core Ultra 9 285H, 32 GB, 1 TB) Core Ultra 9 285H und 32 GB DDR5: kompakter Einstieg für kleine lokale KI-Modelle +Zwei SODIMM-Slots: RAM später aufrüstbar+Zweiter M.2-Slot für Modellbibliothek -Keine eigene GPU: größere LLMs laufen zäh
★★★★★ 3.8 1.399,00 € Kaufen →
Minisforum UM890 Pro (32 GB, 1 TB) 32 GB RAM, auf 96 GB aufrüstbar, und Oculink für eine externe Grafikkarte: ein günstiger Einstieg i… +Oculink: externe Grafikkarte für schnellere KI+32 GB fassen 4-Bit-Modelle bis 27B -Radeon 780M: LLMs antworten spürbar langsam
★★★★★ 3.8 1.159,00 € Kaufen →
Geekom A5 Pro Preis-Tipp 15 W TDP und 2,5G LAN: sparsamer Dauerläufer für kleine KI-Agenten +15 W TDP: sparsam im 24/7-Betrieb+2,5G LAN: schneller Zugriff im Heimnetz -16 GB: Qwen 3.8-27B passt nicht
★★★★★ 3.7 549,00 € Kaufen →

Preise vom 16. Nov. 2026, sie können sich inzwischen geändert haben.

Häufige Fragen zur lokalen KI

Nach der Installation kommen meist dieselben Fragen. Oft geht es um Speicherplatz, ums Tempo und um die Frage, ob sich teure Hardware lohnt. Hier sind die kurzen Antworten, ohne Umwege.

Häufig gestellte Fragen

Kann ich Ollama und LM Studio parallel installieren, und teilen sie sich die Modelldateien?

Installieren kannst du beide problemlos nebeneinander. Die Modelle teilen sie sich aber nicht: Ollama legt seine Dateien in einem eigenen Speicherformat ab, LM Studio verwaltet GGUF-Dateien in einem separaten Ordner. Lädst du Qwen 3.8-27B mit rund 16 GB in beiden Programmen, belegt es also gut 32 GB auf der SSD. Bei einem Mac mini mit 512 GB merkst du das schnell. Nutze deshalb ein Programm als Hauptwerkzeug und lösche doppelte Modelle im anderen.

Warum ist mein Modell plötzlich langsam?

Fast immer passt etwas nicht mehr in den VRAM oder Unified Memory. Entweder ist das Modell von Anfang an zu groß, oder der Kontext wächst im Lauf eines langen Chats so weit, dass Teile in den normalen Arbeitsspeicher ausgelagert werden. Dann rechnet die CPU mit, und die Tokens pro Sekunde brechen ein. Bei Ollama zeigt dir ollama ps, wie die Last zwischen GPU und CPU verteilt ist. Steht dort nicht „100% GPU“, hilft ein kleinerer num_ctx, eine stärkere Quantisierung oder einfach ein neuer Chat.

Ersetzt ein lokales Modell ChatGPT oder Claude?

Für viele Alltagsaufgaben ja: Texte zusammenfassen, Mails entwerfen, Code erklären oder kleinere Skripte schreiben. Qwen 3.8-27B erreicht dabei in mehreren Benchmarks das Niveau der Cloud-Spitze vom Februar 2026. Das aktuelle Claude Opus 5.5 liegt aber laut heise etwa ein halbes Jahr voraus, vor allem bei komplexen, mehrstufigen Aufgaben. Außerdem wird Qwen 4 jeden Moment erwartet. Vor dem nächsten Hardwarekauf lohnt sich also ein Blick darauf, wie groß es ausfällt.

Lohnt sich eine gebrauchte RTX 4090?

Zum aktuellen Preis in der Regel nicht. Laut heise wird die vier Jahre alte Karte auf Kleinanzeigen für rund 4.000 € gehandelt, neu für bis zu 5.000 €. Dafür bekommst du 24 GB VRAM, aber keine Garantie und keinen Rest des Rechners. Der Bosgame M5 kostet mit 3.699 € weniger und bringt 128 GB Unified Memory als kompletten Rechner mit. Der ist zwar pro Token langsamer, lädt dafür aber deutlich größere Modelle. Soll es nur Qwen 3.8-27B mit moderatem Kontext sein, reicht schon eine deutlich günstigere Grafikkarte.

Bleiben meine Daten wirklich lokal?

Ja, solange du keinen Cloud-Dienst einbindest. Internet brauchst du nur für den Download der Modelle, die Antworten berechnet danach dein eigener Rechner. Vorsicht ist bei Erweiterungen wie Websuche, bei Cloud-Modellen, die manche Oberflächen zusätzlich anbieten, und bei Plugins von Drittanbietern geboten. Ollamas API lauscht standardmäßig nur auf deinem eigenen Rechner. Gibst du sie fürs Heimnetz frei, kann jedes Gerät im Netz mitlesen.

Die Antwort hinter fast jeder Frage

Ob es um Tempo, Hardwarekauf oder Modellwahl geht: Am Ende entscheidet fast immer die Rechnung Modellgewichte plus Kontext gegen verfügbaren Speicher. Rechne vor dem Download kurz nach, miss danach mit --verbose selbst nach, und du sparst dir die meisten Enttäuschungen und manchen Fehlkauf.