Warum weniger Bits Antworten verändern können

Was ist Quantisierung bei einem KI-Modell?

Quantisierung stellt Zahlen im Modell mit weniger Bits dar. Bei der Gewichtsquantisierung braucht das Modell dadurch weniger Platz für seine Gewichte. Wie sich das auf Tempo und Antworten auswirkt, hängt vom Modell, dem Verfahren und der Aufgabe ab.

Ein Modell kann nach dem Verkleinern auf eine kleinere Karte passen. Damit ist die Speicherfrage gelöst. Ob es die Aufgaben noch gleich gut löst, ist offen. Eine ähnlich klingende Antwort reicht als Nachweis nicht.

Weniger Platz für dieselben Gewichte

Die Gewichte sind Zahlen, die ein Modell beim Training gelernt hat. Sie bestimmen mit, wie aus einer Eingabe die nächste Antwort entsteht. Diese Zahlen brauchen Speicher.

Die kleinere Darstellung kennt weniger mögliche Werte. Eine einfache Methode rundet jeden ursprünglichen Wert auf den nächsten Wert dieser kleineren Menge. Aus vielen nah beieinanderliegenden Zahlen kann so dieselbe Zahl werden. Damit geht ein Unterschied verloren, den das Modell vorher noch abbilden konnte.

Diese Näherung mit weniger Bits hat einen Namen: Quantisierung.

Was vier statt sechzehn Bits bedeuten

Bei reiner Gewichtsquantisierung von FP16 oder BF16 auf INT4 sinkt die Bitzahl pro Gewicht von 16 auf 4. Die reinen Gewichtsbits brauchen damit ein Viertel des Platzes. Skalen und nicht quantisierte Teile benötigen zusätzlichen Speicher. Der KV-Cache schrumpft dadurch nicht mit.

Ein Rechenbeispiel mit vereinfachten Zahlen: 16 Werte sollen den Bereich von -0,8 bis 0,7 abdecken. Die Schrittweite beträgt 0,1. Aus dem Gewicht 0,26 wird durch Runden 0,3. Gespeichert wird dafür die Ganzzahl 3 zusammen mit der Skala 0,1. Die Ganzzahl steht also für einen Wert im Bereich der Gewichte.

INT8 bietet 256 statt 16 Werte. Kleinere Gruppen von Gewichten können jeweils eigene Skalen bekommen, um ihren Wertebereich besser abzudecken. FP8 nutzt ebenfalls acht Bits, aber eine Fließkommadarstellung. Das Format wird etwa von NVIDIAs Hopper-GPUs unterstützt.

GPTQ und AWQ sind Verfahren zur Gewichtsquantisierung nach dem Training. GPTQ sucht schichtweise eine Näherung mit kleinem Fehler an der Schichtausgabe. AWQ nutzt Aktivierungsdaten, um wichtige Gewichtskanäle durch Skalierung zu schützen. Beide brauchen dafür Beispieldaten zur Kalibrierung. Wie gut diese Daten zur späteren Aufgabe passen, kann das Ergebnis beeinflussen.

Der KV-Cache hält dagegen Rechenergebnisse für das laufende Gespräch. Seine Quantisierung ist eine eigene Entscheidung, besonders bei langen Kontexten.

Die eigene Aufgabe entscheidet

Weniger Bits treffen nicht alle Modelle und Aufgaben gleich. Li et al. fanden in ihren Versuchen unter anderem eine höhere Empfindlichkeit bei mehrschrittigem mathematischem Reasoning. ParoQuant beschreibt Fälle, in denen sich Abweichungen über lange Generierungen verstärken. Liu et al. berichten dagegen nahezu verlustfreie Gewichtsquantisierung auf vier Bits bei den untersuchten Reasoning-Modellen.

Deshalb gehört die geplante Arbeit in den Test. Für einen Agentenlauf reichen einzelne kurze Chatfragen als Nachweis nicht. Kontextlänge, Antwortlänge und die tatsächlich zu lösenden Aufgaben müssen dazu passen. Unterschiede können aber auch schon bei kurzen Antworten auftreten. Eine ähnliche Durchschnittsquote kann verbergen, dass das Modell einzelne Aufgaben anders löst.

Auch der Geschwindigkeitsgewinn ist offen. Die QSPEC-Autoren zeigen, dass quantisierte Modelle je nach Implementierung und Batchgröße schneller oder langsamer als FP16 laufen können. Speicherbedarf, Laufzeit und Antwortqualität brauchen deshalb einen eigenen Vergleich.

Für den eigenen Betrieb zählt anschließend, ob das Setup bei ausreichender Qualität die Kosten senkt. Weniger belegter Speicher allein macht weder eine gemietete GPU noch den gesamten Betrieb automatisch billiger.

Wie viele Bits reichen, zeigt sich an den Aufgaben des Modells.

Nächster Begriff: Speculative Decoding. Ein kleines Modell schlägt Tokens vor, das große prüft sie. So kann die Ausgabe schneller entstehen.

Häufige Fragen

Was ist Quantisierung bei einem KI-Modell? Quantisierung stellt Zahlen im Modell mit weniger Bits dar. Bei der Gewichtsquantisierung braucht das Modell dadurch weniger Platz für seine Gewichte. Wie sich das auf Tempo und Antworten auswirkt, hängt vom Modell, dem Verfahren und der Aufgabe ab.

Was ist der Unterschied zwischen INT8 und INT4? INT8 stellt 256 Werte dar, INT4 nur 16. Für die reinen Gewichtsbits braucht INT4 halb so viel Platz wie INT8. Skalen ordnen die Ganzzahlen dem Wertebereich der Gewichte zu. Die Bitzahl allein sagt nicht, ob die Antworten gut genug bleiben.

Macht Quantisierung ein Modell immer schneller? Nein. Weniger Gewichtsplatz kann die Inferenz beschleunigen. Ob das gelingt, hängt auch von Hardware, Kernel und gleichzeitigen Anfragen ab. Speicherbedarf und Laufzeit müssen getrennt gemessen werden.

Reicht ein kurzer Test für ein quantisiertes Modell? Der Test muss die vorgesehenen Aufgaben abdecken, einschließlich typischer Kontext- und Antwortlängen. Unterschiede können schon bei kurzen Antworten auftreten. Ein guter Kurztest belegt deshalb noch nicht, dass auch ein langer Lauf gut funktioniert.

Quellen

• Frantar et al., GPTQ, 2022/2023: Gewichtsquantisierung und schichtweise Rekonstruktion.
• Lin et al., AWQ, 2023/2024: Skalierung wichtiger Kanäle und Kalibrierungsdaten.
• Micikevicius et al., FP8 Formats for Deep Learning, 2022; NVIDIA, Hopper-Architektur.
• Li et al., Evaluating Quantized Large Language Models, 2024: aufgaben- und modellabhängige Qualität, einschließlich langer Kontexte.
• Liu et al., Quantization Hurts Reasoning?, 2025: nahezu verlustfreie vier-Bit-Gewichtsquantisierung in den untersuchten Reasoning-Modellen.
• ParoQuant, 2025: Abweichungen bei langen Reasoning-Ketten.
• Dutta et al., Accuracy is Not All You Need, 2024: geänderte Einzelentscheidungen trotz ähnlicher Durchschnittsqualität.
• Zhao et al., QSPEC, EMNLP 2025, Anhang A.6: Laufzeitvergleich FP16 und Gewichtsquantisierung.

Teil der Serie AI-Engineering-Begriffe erklärt. Verwandt: KV-Cache, Eigene KI-Modelle selbst hosten oder mieten? und Continuous Batching.