Warum ein Modell teurer wird, je länger es spricht

Was ist der KV-Cache?

Der KV-Cache ist ein Zwischenspeicher im GPU-Speicher. Das Modell legt dort die Rechenergebnisse aller bisherigen Tokens ab, damit es sie beim nächsten Schritt direkt lesen kann, statt alles neu zu berechnen. Er wächst mit jedem Token und ist meist das, was zuerst ausgeht.

Dasselbe Modell, dieselbe Frage. Trotzdem wird jede Antwort langsamer und teurer, je länger das Gespräch läuft. Zehn Nachrichten ausgetauscht, der Unterschied ist messbar.

Das liegt nicht daran, dass das Modell schlechter wird. Es liegt an dem, was es bei sich behält. Das Modell ist der geniale, schnelle, gelegentlich lügende Praktikant. Und wie jeder, der schnell arbeitet: er legt Vorbereitung auf die Theke.

Die Vorbereitung auf der Theke

Ein Koch schneidet die Zwiebeln einmal zu Beginn und legt alles griffbereit auf die Theke. Jeder neue Teller nutzt die Vorbereitung wieder. Geschnitten wird nur, was neu ist. Aber die Theke ist endlich. Je voller der Abend, desto mehr Vorbereitung stapelt sich. Irgendwann ist kein Platz mehr. Nicht schwierigeres Kochen beendet den Abend. Fehlender Platz tut es.

Das Modell verhält sich genauso. Es rechnet nicht jedes Mal die gesamte Gesprächsgeschichte neu durch. Es legt die Zwischenergebnisse aller vorigen Tokens auf die Theke und liest sie beim nächsten Schritt direkt ab. Jedes neue Token stapelt sich oben drauf.

Dieses Bild hat einen Namen: KV-Cache.

Hier sitzt dieser Begriff in der Serie:

Für die Technik-Tiefe

Ohne Cache würde das Modell bei jedem neuen Token die Attention über die gesamte bisherige Sequenz neu berechnen. Stattdessen speichert es die Key- und Value-Tensoren aller bereits verarbeiteten Tokens im VRAM und liest sie beim nächsten Schritt aus.

Die Cachegröße ergibt sich ungefähr aus:

2 × Schichten × KV-Köpfe × Kopfdimension × Sequenzlänge × Batchgröße × Bytes pro Wert

Bei einem modernen 8B-Modell mit Group-Query-Attention (8 KV-Köpfe, 32 Schichten) kommt ein einziges Gespräch mit 100.000 Token auf rund 13 GB Cache, während die Modellgewichte in FP16 etwa 16 GB belegen. 16 parallele Gespräche à 4.000 Token ergeben rund 8 GB. Ältere Architekturen ohne GQA liegen bis zu viermal höher. Deshalb geht der VRAM zuerst am Cache aus, nicht an der Rechenleistung. Längere Kontextfenster verschieben diese Grenze nach oben, machen sie aber nicht verschwinden.

Dieser Begriff setzt Token-Grundwissen voraus: Was ist ein Token?

Wo es bricht

Läuft der VRAM voll, muss das System Cache-Einträge löschen. Wird die falsche Vorbereitung weggeworfen, rechnet das Modell diese Tokens beim nächsten Aufruf neu. Zeit und Rechenkosten doppelt.

Treffen zu viele lange Gespräche gleichzeitig auf ein System, sinkt der Durchsatz. Nicht, weil das Modell langsamer rechnet, sondern weil der Speicher keine weiteren Anfragen aufnimmt.

Für Unternehmen mit langen Kontexten trifft das direkt. Vertragsanalysen, mehrstündige Kundengespräche, große Wissensdokumente: je länger das Dokument, desto größer der Cache, desto früher das Limit. Wer KI-Kosten auf kurzen Testdokumenten kalkuliert, unterschätzt den Betrieb mit echten deutschen Akten spürbar.

Die Gegenmittel sind standardisierte Cache-Seiten, die Fragmentierung reduzieren (Paged Attention), und geteilte Starts für Anfragen mit gleichem Anfangsteil (Prefix-Reuse). Beide kommen im nächsten Teil.

Der KV-Cache ist die Vorbereitung, die aufgehoben wird, damit die Vergangenheit nie zweimal gekocht werden muss. Und er ist das, was zuerst ausgeht.

Nächster Begriff: Prefill und Decode. Warum dieselbe Anfrage zwei Geschwindigkeiten hat, und welche davon der Nutzer spürt.

Häufige Fragen

Was ist der KV-Cache? Der KV-Cache (Key-Value-Cache) ist ein Zwischenspeicher im GPU-Speicher. Das Modell legt dort die Rechenergebnisse aller bereits verarbeiteten Tokens ab und liest sie beim nächsten Schritt direkt ab, statt alles neu zu berechnen. Er wächst mit jedem Token und ist bei längeren Gesprächen oft größer als die Modellgewichte selbst.

Warum wird ein KI-Gespräch mit der Zeit teurer? Mit jeder neuen Nachricht wächst der KV-Cache. Das Modell braucht mehr GPU-Speicher, und auf ausgelasteten Systemen sinkt der Durchsatz, weil weniger parallele Anfragen in den Speicher passen.

Was ist Paged Attention? Paged Attention verwaltet den KV-Cache in festen Seiten, ähnlich wie ein Betriebssystem virtuellen Speicher aufteilt. Das reduziert Speicher-Fragmentierung und erlaubt, Anfragen mit gleichem Gesprächsanfang denselben Cache-Block zu teilen.

Warum ist der VRAM-Verbrauch bei langen Texten so hoch? Der KV-Cache wächst linear mit Sequenzlänge und Anzahl paralleler Anfragen. Bei langen Dokumenten oder Gesprächen kann er die Modellgewichte an Größe übertreffen. Das ist meist der Engpass, der bestimmt, wie viele Anfragen gleichzeitig bearbeitet werden können.

Teil der Serie AI-Engineering-Begriffe erklärt. Verwandt: Was ist ein Token? und Was kostet ein KI-Projekt im Mittelstand?