Quantisierung
Quantisierung speichert die Gewichte eines Sprachmodells mit weniger Bits, etwa 4 statt 16. Das Modell braucht dann nur noch rund ein Viertel des Speichers und läuft auf deutlich kleinerer Hardware, bei meist geringem Qualitätsverlust.
Auch bekannt als: Quantization · GGUF · Q4 · Q8
So funktioniert das
Die Gewichte eines Modells sind Zahlen, die normalerweise mit 16 Bit gespeichert werden. Bei der Quantisierung werden sie auf 8, 4 oder noch weniger Bit gerundet. Ein Modell mit 30 Milliarden Parametern braucht mit 16 Bit rund 60 GB, mit 4 Bit nur noch etwa 17 GB. Verbreitet ist das Dateiformat GGUF, das Programme wie Ollama und LM Studio direkt laden. Die Bezeichnungen Q4 oder Q8 geben die Bitzahl an, Zusätze wie K_M stehen für das Verfahren.
Beispiel aus der Praxis
Ein Büro möchte ein offenes Modell auf einem Mac mit 32 GB Arbeitsspeicher betreiben. In voller Präzision passt nur ein Modell mit etwa 10 Milliarden Parametern, mit 4-Bit-Quantisierung eines mit rund 30 Milliarden.
Das solltest du wissen
- 8 Bit ist kaum vom Original zu unterscheiden, 4 Bit gilt als guter Kompromiss. Darunter lässt die Qualität spürbar nach.
- Zum Speicher für das Modell kommt Speicher für den Kontext dazu, also für die Texte, die du dem Modell gibst.
- Welche Modelle auf welche Hardware passen, zeigt unsere Übersicht der offenen KI-Modelle.
Hinweis: Die Angaben ersetzen keine Rechtsberatung.
Passende Werkzeuge