KI

Welche KI-Zugänge werden genutzt? Vor der Auswertung gehören Datenzugriff, bestehende Vereinbarungen und die erforderliche Einigung auf den Tisch. Ein Ablauf für IT und Geschäftsführung.

Eine kurze Antwort kann viel GPU-Speicher blockieren. Paged Attention teilt den KV-Cache in Blöcke auf, die eine Anfrage erst bei Bedarf erhält.

Weniger Bits sparen Platz für Modellgewichte. Ob die Antworten noch gut genug sind und das Modell schneller läuft, zeigt erst der Vergleich auf den eigenen Aufgaben.

Prompts, aktive Tage und geschätzte Stunden helfen bei der Lizenzentscheidung. Dafür muss klar sein, welche Zahl erfasst wurde und welche aus einer Formel stammt.

Acht Anfragen starten gleichzeitig auf demselben Server. Die kürzeste ist nach drei Tokens fertig. Trotzdem kommt ihre Antwort erst an, wenn die längste der acht ihr letztes Wort geschrieben hat.

Eine Extraktion liest zuverlässig Werte aus Verträgen, bis ein Feld einmal fehlt. Dieselbe Anfrage liefert trotzdem eine Zahl, sauber formatiert, nur erfunden. Warum ein Sprachmodell keine Datenbank ist und was das für die Prüfung bedeutet.