Was ist ein Token? Warum ein Sprachmodell keinen Text sieht

Was ist ein Token?

Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es ihn verarbeitet. Meist ein Wortfragment, kein Buchstabe und kein ganzes Wort. Ein Programm, der Tokenizer, übersetzt Text in eine Liste von Zahlen. Das Modell sieht nur diese Zahlen, nie die Buchstaben. Tokens bestimmen Kosten, Kontextgrenzen und eine ganze Klasse von Fehlern.

Fragt man ein Sprachmodell, wie viele “r” im Wort “strawberry” stecken, liegt es oft daneben. Dabei sind es nur drei. Keine schwere Aufgabe.

Das Modell ist kein schlechter Zähler. Es sieht das Wort nur anders als ein Mensch. Ein Bild hilft, und es trägt diese ganze Serie: Das Modell ist der geniale, schnelle, gelegentlich lügende Praktikant. Stark im Formulieren. An einer überraschenden Stelle blind. Bei diesem Wort fängt die Blindheit an.

Das Modell liest in Bausteinen, nicht in Buchstaben

Bevor das Modell rechnet, läuft ein eigenes Programm davor. Es zerschneidet den Text in feste Bausteine aus einem festen Kasten. Die einzelnen Buchstaben bekommt das Modell nie. Nur diese fertigen Teile.

Wie ein Mosaik aus ganzen Kacheln, nicht aus einzelnen Farbpunkten. Wer die roten Punkte zählen will, müsste auswendig wissen, was auf jeder Kachel klebt. So geht es dem Modell beim Buchstabenzählen.

Dieses Bild hat einen Namen: Token. Das Programm, das zerschneidet, heißt Tokenizer.

Ein Token ist ein Baustein in der Serie. Hier stehen wir:

Für die Technik-Tiefe

Die Bausteine entstehen durch BPE (Byte-Pair Encoding)Byte-Pair EncodingDas gängige Tokenizer-Verfahren. Es startet bei einzelnen Bytes und verschmilzt wiederholt das häufigste benachbarte Paar zu einem neuen Token. Häufige Wörter werden so zu einem Token, seltene zerfallen in viele.. Vor dem Training läuft ein Verfahren über riesige Textmengen und verschmilzt immer wieder das häufigste Zeichenpaar zu einem neuen Token. Häufige Wörter werden ein Token, seltene zerfallen. Das Vokabular umfasst am Ende rund 100.000 bis 200.000 Tokens.

Konkret, mit dem GPT-4-Tokenizer:

"strawberry"  →  str · aw · berry  →  [496, 675, 15717]

Das Modell bekommt [496, 675, 15717], mehr nicht. Die drei “r” stecken verteilt in str und berry. Faustregel für Englisch: ein Token ist etwa vier Zeichen oder 0,75 Wörter. Jede Modellfamilie hat ihren eigenen Tokenizer, ein anderes Modell zerlegt dasselbe Wort anders.

Und die Kostenseite, mit Zahlen: Deutscher Text zerfällt in mehr Tokens als englischer mit gleicher Bedeutung. Die Forschung nennt diesen Aufschlag token premium (Petrov et al., 2023). Er bleibt bestehen, auch wenn man Inhalt und Vokabulargröße kontrolliert, ist also kein reiner Längeneffekt. Für Deutsch liegt er grob beim 1,3- bis 1,5-fachen je nach Tokenizer.

Wo es bricht

Jede Aufgabe auf Buchstabenebene wird unzuverlässig. Buchstaben zählen. Ein Wort buchstabieren. Es rückwärts schreiben. Stellenweise rechnen. Diese Ebene hat das Modell nicht vor sich. Manchmal klappt es trotzdem, verlassen kann man sich nicht darauf. Die Lösung: solche Schritte an Code geben, der wirklich zählt.

Die teure Stelle liegt woanders, und sie trifft den Mittelstand direkt. Dieser Token-Aufschlag auf Deutsch schlägt direkt auf die Rechnung durch: bezahlt wird pro Token, also kostet dieselbe Aufgabe auf Deutsch spürbar mehr. Wer ein deutsches KI-Projekt auf englischen Testdaten kalkuliert, rechnet sich zu günstig. Die Lösung: Kosten auf echten deutschen Daten messen, nicht auf englischen.

Das Modell sieht keinen Text. Es sieht Zahlen für feste Wortbausteine. Wer das im Kopf hat, versteht eine ganze Klasse von KI-Fehlern auf einen Blick. Vom verzählten “strawberry” bis zur höheren Rechnung für deutsche Texte.

Nächster Begriff: das Context Window. Also wie viele dieser Bausteine ein Modell auf einmal überblickt. Und warum es die Mitte langer Texte schlechter behandelt als Anfang und Ende.

Häufige Fragen

Ist ein Token dasselbe wie ein Wort? Nein. Ein Token ist meist ein Wortfragment. Häufige Wörter sind ein Token, seltene zerfallen in mehrere. Als Faustregel für Englisch gilt: ein Token entspricht etwa vier Zeichen oder 0,75 Wörtern.

Warum zählt ein Sprachmodell Buchstaben falsch? Weil es das Wort nicht als Buchstabenfolge sieht, sondern als wenige Token-Fragmente mit Zahlen-IDs. Die einzelnen Buchstaben sind in diesen Fragmenten eingeschlossen und nicht direkt zugänglich.

Warum kostet KI auf Deutsch mehr als auf Englisch? Weil deutscher Text in mehr Tokens zerfällt als englischer mit gleicher Bedeutung, grob um das 1,3- bis 1,5-fache je nach Tokenizer. Abgerechnet wird pro Token, also steigen die Kosten entsprechend.

Sollte ich KI-Prompts auf Deutsch oder Englisch schreiben? Englisch spart Tokens, also Kosten und Platz im Context Window. Bessere Antworten liefert Englisch bei aktuellen Spitzenmodellen aber kaum noch. Der Qualitätsvorsprung galt vor allem für ältere und kleinere Modelle und ist für gut vertretene Sprachen wie Deutsch weitgehend geschlossen. Kurz: Englisch ist ein Kostenhebel, kein Qualitätshebel.

Teil der Serie AI-Engineering-Begriffe erklärt. Verwandt: Warum ChatGPT Ihr Unternehmenswissen nicht kennt und Was kostet ein KI-Projekt im Mittelstand.