Wie sieht eine KI ein Bild? Warum sie den Screenshot liest, aber die kleine Zahl übersieht

Wie sieht eine KI ein Bild?

Ein Modell sieht ein Bild nie als Fläche aus Pixeln. Ein Vorverarbeiter zerschneidet es in ein Raster aus festen Kacheln, den Patches. Jede Kachel wird zu einer Handvoll Zahlen zusammengepresst und wie ein Token gelesen. Das Modell verarbeitet die Szene, nicht die einzelnen Bildpunkte. Deshalb fällt das Kleingedruckte zuerst durch das Raster.

Dasselbe Modell liest den Screenshot einer Fehlermeldung Wort für Wort vor. Beim nächsten Bild, einem dichten Dashboard, übersieht es die kleine Zahl in der Ecke. Kein Aussetzer. Das Modell hat das Bild nie als Pixel gesehen.

Das ist wieder der geniale, schnelle, gelegentlich danebenliegende Praktikant aus dieser Serie. Stark im Erkennen der Szene. An einer überraschenden Stelle blind. Bei der kleinen Zahl fängt die Blindheit an.

Das Modell liest ein Raster, kein Foto

Ein Bild erreicht das Modell nie als Fläche aus Pixeln. Davor zerschneidet ein Vorverarbeiter es in ein Raster aus kleinen Kacheln. Jede Kachel wird zu einer Handvoll Zahlen zusammengepresst, einem kurzen Steckbrief. Das Modell liest dann diese Steckbriefe der Reihe nach, so wie es Text als Tokens liest (siehe Was ist ein Token).

Wie ein Raster aus daumennagelgroßen Vorschaubildern. Die Szene als Ganzes ist klar erkennbar. Aber das Kleingedruckte in einer einzelnen Kachel ist im Steckbrief längst verschwunden. Der Praktikant schaut nicht auf das Foto. Er überfliegt das Raster und sagt, was darauf zu sehen ist. Gut für das Gesamtbild, blind für die feine Schrift.

Dieses Bild hat einen Namen: Das Modell ist ein Vision-Language-Modell, kurz VLM. Die Kacheln heißen Patches, und jede wird zu einem Bild-Token.

So ein VLM ist ein Baustein in der Serie. Hier stehen wir:

Für die Technik-Tiefe

Ein Vision-EncoderVision-EncoderDer Bildteil eines multimodalen Modells. Er zerlegt das Bild in feste Patches und übersetzt jeden in einen Vektor, den das Sprachmodell wie ein Token verarbeiten kann.zerlegt das Bild in feste Patches, bei gängigen Architekturen etwa 14 bis 16 Pixel Kantenlänge. Jeder Patch wird linear in einen Vektor projiziert, samt Information über seine Position im Raster. Diese Bild-Tokens laufen durch einen Vision TransformerVision TransformerEine Transformer-Architektur für Bilder. Sie behandelt Bild-Patches wie eine Folge von Tokens und lässt sie über Attention miteinander rechnen, genau wie ein Sprachmodell mit Wort-Tokens.und eine Projektionsschicht, die sie in den Eingaberaum des Sprachmodells übersetzt. Ab da behandelt das Modell sie wie Tokens: Die Attention läuft über Text- und Bild-Tokens gemeinsam.

Eine Zahl dazu: Claude verarbeitet Bilder seit Opus 4.7 hochauflösend, bis 2576 Pixel an der langen Kante, mit bis zu rund 4.784 Tokens pro Bild bei voller Auflösung. Vorher war bei etwa 1.600 Tokens Schluss. Ein hochauflösendes Bild kostet also so viel wie mehrere Seiten Text.

Wo es bricht

Ist das Raster zu grob für das Detail, geht das Detail verloren. Winzige Schrift, dichte Tabellen, eine kleine Zahl im Dashboard: All das verschwimmt im Steckbrief seiner Kachel, bevor das Modell überhaupt liest. Wer die ganze Seite verkleinert hochlädt, macht es schlimmer, denn dann teilen sich noch mehr Inhalt noch weniger Kacheln.

Für den Mittelstand hat das zwei Konsequenzen. Erstens Kosten: Bilder kosten Tokens, bei voller Auflösung viele. Eine Pipeline, die hunderte Belege oder Screenshots durch ein Modell schickt, zahlt pro Bild, und die Rechnung wächst mit der Auflösung. Zweitens Verlässlichkeit: “Das Modell hat den Screenshot doch gelesen” heißt nicht, dass es jede Zahl darauf gelesen hat.

Die Gegenmittel sind schlicht. Den relevanten Ausschnitt zuschneiden und in guter Auflösung schicken, statt die ganze Seite verkleinert. Bild-Tokens budgetieren wie Text-Tokens. Und bei kritischen Zahlen nie blind darauf vertrauen, dass das Kleingedruckte angekommen ist.

Ein Modell sieht kein Bild, sondern ein Raster aus Kacheln, die zu Zahlen wurden. Es liest die Szene, nicht die Pixel. Und das Kleingedruckte fällt zuerst durch das Raster.

Nächster Begriff: Wie viele dieser Tokens, Bild wie Text, ein Modell auf einmal überblickt, und warum diese Grenze über Kosten und Fehler entscheidet.

Häufige Fragen

Wie verarbeitet eine KI ein Bild? Ein Vorverarbeiter zerschneidet das Bild in ein Raster aus festen Kacheln, sogenannten Patches. Jede Kachel wird zu einem Vektor aus Zahlen zusammengepresst und wie ein Token behandelt. Das Modell liest dann diese Bild-Tokens, nie die einzelnen Pixel.

Warum übersieht ein KI-Modell kleine Details in einem Screenshot? Weil feine Details in der Kachel verschwimmen, bevor das Modell liest. Ist das Raster zu grob für eine winzige Zahl oder kleine Schrift, geht das Detail im Zahlen-Steckbrief der Kachel verloren. Das Modell liest die Szene, nicht jeden Pixel.

Kostet ein Bild mehr als Text bei der KI-Nutzung? Oft ja. Bilder werden in Tokens umgerechnet, und ein hochauflösendes Bild kann so viele Tokens kosten wie mehrere Seiten Text. Bei Claude sind es seit Opus 4.7 bis zu rund 4.784 Tokens pro Bild bei voller Auflösung. Eine Pipeline mit vielen Bildern zahlt pro Bild, und die Kosten wachsen mit der Auflösung.

Wie bekomme ich zuverlässige Ergebnisse, wenn die KI Zahlen aus einem Bild lesen soll? Den relevanten Ausschnitt zuschneiden und in guter Auflösung schicken, statt die ganze Seite verkleinert. Bild-Tokens wie Text-Tokens budgetieren. Und bei kritischen Zahlen nie blind darauf vertrauen, dass das Kleingedruckte angekommen ist, sondern gegenprüfen.

Teil der Serie AI-Engineering-Begriffe erklärt. Verwandt: Was ist ein Token und Was kostet ein KI-Projekt im Mittelstand.