Was sind Parameter eines KI-Modells?
Parameter sind die beim Training gelernten Zahlenwerte eines Modells. Ihre Anzahl wird in Milliarden angegeben und mit „B“ abgekürzt (englisch billion). Qwen 3.8-27B hat rund 27 Milliarden Parameter, die Gemma-4-Familie reicht von E2B bis 31B. Mehr Parameter bedeuten meist mehr Wissen und bessere Antworten, aber auch mehr Speicherbedarf. Grob gilt: Parameterzahl mal Bit pro Gewicht, geteilt durch 8, ergibt die Größe in Byte. 27 Milliarden Parameter brauchen in 16 Bit etwa 54 GB, in 4 Bit rund 14 bis 16 GB. Bei Mixture-of-Experts-Modellen wie Gemma 4 26B A4B ist pro Token nur ein Teil aktiv, hier etwa 4 Milliarden. Die Grenzen zeigt die Nvidia GeForce RTX 5090: In ihre 32 GB VRAM passen 27B-Modelle samt Kontext, 70B-Modelle aber nicht komplett.