KI-Kiste

Was ist ein Bit?

Ein Bit ist die kleinste Informationseinheit und kann nur 0 oder 1 sein. Acht Bit ergeben ein Byte. Bei lokaler KI taucht der Begriff in zwei Zusammenhängen auf. Erstens bei der Quantisierung: Die Angabe sagt, mit wie vielen Bit jede Modellgewicht gespeichert wird. Bei 16 Bit braucht ein 27B-Modell rund 54 GB, bei etwa 4 Bit nur rund 16 GB. Deshalb passen 27B-Modelle als 4-Bit-Quant in die 24 GB des Mac mini M6. Zweitens bei der Busbreite einer Grafikkarte: Sie gibt an, wie viele Bit pro Takt zwischen GPU und Speicher fließen. Die Nvidia GeForce RTX 5090 hat ein 512-Bit-Speicherinterface. Das trägt zu ihrer hohen Speicherbandbreite von 1792 GB/s bei und damit zu einer zügigen Token-Ausgabe.