Was sind Sprachmodelle?
Sprachmodelle sind neuronale Netze, die Text Token für Token vorhersagen. Damit können sie Fragen beantworten, Texte zusammenfassen oder Code schreiben. Große Sprachmodelle heißen LLMs (Large Language Models). Ihre Größe wird in Milliarden Parametern angegeben, etwa 27B. Aktuelle lokal nutzbare Beispiele sind Qwen 3.8-27B sowie Gemma 4 von Google. Gemma 4 gibt es in den Größen E2B, E4B, 12B, 26B A4B (MoE) und 31B. Je größer das Modell, desto mehr Arbeitsspeicher oder VRAM braucht es. Ein 27B-Modell als 4-Bit-Quant passt in 24 GB, etwa beim Apple Mac mini (M5 Pro, 24 GB, 512 GB). Für deutlich größere Modelle ist mehr Speicher nötig, wie die 128 GB Unified Memory des Bosgame M5.