· Daniel Schleipfer · KI
Warum ein Modell teurer wird, je länger es spricht
Dasselbe Modell, dieselbe Frage. Jede Antwort kostet mehr, je länger das Gespräch läuft. Der Grund dafür hat einen Namen: KV-Cache.
Tag: llm
· Daniel Schleipfer · KIWas ist ein Token? Warum ein Sprachmodell keinen Text sieht
Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt. Warum das Modell keine Buchstaben sieht, und was diese eine Tatsache an Kosten und Fehlern erklärt.