Eigene KI-Modelle selbst hosten oder mieten? Die ehrliche Rechnung

Eigene KI-Modelle hosten oder mieten?

Wer die bestmögliche Antwortqualität will, fährt mit einem Abo (Claude Max, 100 bis 200 Dollar pro Monat) günstiger, besser und schneller als mit eigener Hardware. Eine lokale Maschine für die stärksten offenen Modelle kostet realistisch rund 10.000 Euro, braucht über vier Jahre bis zum Break-even und fällt in dieser Zeit technisch zurück. Für Agenten-Workflows mit parallelen Sessions gilt das doppelt. Eigene Hardware lohnt sich, wenn Daten das Haus nicht verlassen dürfen. Nicht als Sparmaßnahme.

Seit Mitte Juni 2026 lässt sich etwas tun, das vor einem Jahr noch nach Rechenzentrum klang: das stärkste offene KI-Modell der Welt auf einer einzigen Maschine laufen lassen, die unter den Schreibtisch passt. GLM-5.2 von Z.ai hat 744 Milliarden Parameter, Kimi K2.7 von Moonshot rund eine Billion. Beide sind frei verfügbar, beide laufen lokal.

Damit kommt im Mittelstand eine Frage zurück, die vorher die Großkonzerne hatten: Sollten wir unsere KI selbst hosten? Eigene Modelle, eigene Hardware, eigene Daten. Unabhängig von einem US-Anbieter und seinen Preisen.

Die Antwort ist unbequem, aber klar. Und sie hat wenig mit der Zahl auf dem Preisschild zu tun.

Warum das überhaupt geht: kleine aktive Modelle

Beide Modelle sind Mixture-of-Experts. Das heißt: Sie sind riesig, aber pro Token feuert nur ein kleiner Teil der Gewichte. GLM-5.2 aktiviert von seinen 744 Milliarden Parametern nur rund 40 Milliarden je Token, Kimi K2.7 ähnlich wenig von seiner Billion.

Diese eine Tatsache verschiebt alles. Die Geschwindigkeit hängt nicht an roher Rechenleistung, sondern an Speicherbandbreite. Die Machbarkeit hängt an Speicherkapazität. Deshalb braucht man keinen Schrank voller Rechenzentrums-GPUs, sondern eine Maschine mit sehr viel Arbeitsspeicher. Ein Mac mit Unified Memory reicht im Prinzip.

Der Haken: Die Gewichte müssen komplett in den Speicher passen, dazu kommt Platz für den laufenden Kontext. Damit die Gewichte überhaupt hineinpassen, werden die Modelle für den lokalen Betrieb auf 4 Bit pro Parameter geschrumpft. Das kostet ein Stück Qualität. GLM-5.2 auf 4 Bit braucht so rund 370 bis 400 GB. Das passt in eine 512-GB-Maschine. Kimi K2.7 will eher 640 GB aufwärts. Wir reden also nicht über einen Gaming-PC.

Was die Hardware kostet

Vier Wege, eine lokale Maschine zu bekommen, von oben nach unten:

• Rechenzentrums-Server (8 mal H200 und ähnlich): 150.000 bis 400.000 Euro. Der einzige Weg, der sich wirklich wie die gehostete API anfühlt, mit hunderten Tokens pro Sekunde. Für Einzelne und die meisten Mittelständler kein Thema.
• Apple Silicon mit viel Unified Memory: der realistische Ein-Maschinen-Weg, rund 6.000 bis 10.000 Euro. Bis vor kurzem war der 512-GB-Mac-Studio der Sweet Spot. Apple hat die 512-GB-Option im März 2026 gestrichen, weil die Speicherpreise explodiert sind (dazu gleich mehr). Tempo: ein 4-Bit-Modell dieser Größe läuft bei etwa 15 bis 18 Tokens pro Sekunde. Als persönlicher Coding-Assistent brauchbar, für lange Agenten-Läufe zäh.
• Mac-Cluster (4 mal M3 Ultra): rund 40.000 Euro, bündelt 1,5 TB Speicher, etwa 28 bis 32 Tokens pro Sekunde. Hält auch Kimi K2.7 bequem.
• AMD-EPYC-Server mit viel DDR5: 6.000 bis 15.000 Euro. RAM ist hier am günstigsten, aber die niedrige Bandbreite drückt das Tempo auf niedrige einstellige bis etwa 10 Tokens pro Sekunde.

Eine Größenordnung zu allen Preisen: Wir stecken seit Anfang 2026 in einer DRAM- und HBM-Knappheit. Die Speicherhersteller haben ihre Produktion auf den teuren KI-Speicher für Rechenzentren umgestellt. TrendForce hat die DRAM-Vertragspreise für das erste Quartal 2026 auf plus 90 bis 95 Prozent gegenüber dem Vorquartal korrigiert. Apple hat nicht nur die 512-GB-Option gestrichen, sondern auch den Aufpreis auf 256 GB von 1.600 auf 2.000 Dollar erhöht, bei Lieferzeiten von vier bis fünf Monaten. Im Mai fiel dann auch die 256-GB-Option weg. Genau die Hardware, die man für lokale Modelle braucht, ist gerade am teuersten und am schlechtesten verfügbar.

Die eigentliche Rechnung: mieten gegen kaufen

Stellen wir die realistische lokale Maschine gegen das Abo.

• Lokale Maschine: rund 10.000 Euro, einmalig (vor der Knappheits-Inflation).
• Claude Max: 100 Dollar pro Monat (5x) oder 200 Dollar pro Monat (20x).

Gegen das 200er-Abo: rund 50 Monate bis zum Break-even. Über vier Jahre. Gegen das 100er-Abo: rund 100 Monate.

Und diese Rechnung schmeichelt der Hardware noch, denn sie tut so, als wäre das lokale Modell genauso gut wie das im Abo. Ist es nicht. Lokal läuft ein Modell, das ohnehin eine Stufe unter dem Spitzenmodell liegt, dazu langsamer, ohne Batching, und durch die nötige 4-Bit-Quantisierung noch ein Stück schwächer.

Hier ist der Punkt, der die ganze Entscheidung dreht, und er steht auf keinem Preisschild: Die gekaufte Hardware ist ein abschreibendes Gut, das einem beweglichen Ziel hinterherläuft.

Die Modelle von heute wollen 400 bis 500 GB Speicher. Die nächste Generation offener Gewichte will mehr: größere Experten, längerer Kontext, dickerer Cache. Die Maschine, die heute das aktuelle Modell gerade so hält, hält das übernächste nicht mehr. Sie altert nicht einfach. Sie altert aus dem Rennen. Wer vorne bleiben will, kauft alle 18 bis 24 Monate neuen, speicherlastigen Stahl, nur um knapp hinter der Spitze zu bleiben.

Das Abo macht das Gegenteil. Der 200er-Abonnent bekommt jedes neue Spitzenmodell automatisch, zum gleichen Preis. Er rechnet nicht nach, ob die Gewichte noch in seinen Speicher passen.

Der übliche Vergleich ist Mieten gegen Kaufen, wie bei einer Wohnung. Da lügt das Bild. Bei einer Wohnung gewinnt der Käufer langfristig, weil das Gut bleibt und an Wert gewinnt. Hier verliert der Käufer doppelt: Das gekaufte Gut verliert an Wert, und das gemietete wird ständig besser, ohne dass die Miete steigt.

Die zweite Rechnung: Agenten arbeiten parallel

Bis hierher tut die Rechnung so, als säße vor der Maschine ein Mensch, der eine Frage stellt und auf die Antwort wartet. So sieht ernsthafte KI-Arbeit 2026 aber nicht mehr aus. Wer mit Agenten arbeitet, hat mehrere Sessions gleichzeitig laufen, und jede davon startet Sub-Agenten: einer recherchiert, einer schreibt Code, einer prüft das Ergebnis. Aus einem Nutzer werden so schnell fünf bis fünfzehn parallele Anfragen an das Modell.

Die 15 bis 18 Tokens pro Sekunde von oben sind aber das Tempo für einen einzelnen Strom. Unter paralleler Last teilt es sich, und zwar schlechter, als man hofft. Drei Gründe:

• Der MoE-Vorteil schrumpft im Batch. Eine einzelne Anfrage aktiviert nur rund 40 der 744 Milliarden Parameter. Parallele Anfragen aktivieren aber unterschiedliche Experten, und zusammen nähern sie sich dem vollen Modell. Genau der Effekt, der das Modell lokal machbar macht, verblasst in dem Moment, in dem mehrere Anfragen gleichzeitig laufen.
• Agenten bestehen zum Großteil aus Kontext-Einlesen. Jeder Sub-Agent bekommt beim Start seinen kompletten Arbeitskontext übergeben, oft 50.000 bis 100.000 Tokens. Dieses Einlesen (der Prefill) braucht Rechenleistung, nicht Speicherbandbreite. Und Rechenleistung ist genau die Schwäche der speicheroptimierten Maschinen. Bis zum ersten Antwort-Token können Minuten vergehen, bei jedem einzelnen Start.
• Der Speicher-Puffer ist schnell voll. Neben den Gewichten braucht jede laufende Session ihren eigenen Zwischenspeicher für den Kontext, den KV-Cache. Bei rund 400 GB Gewichten in einer 512-GB-Maschine bleiben etwa 100 GB für alle Sessions zusammen. Eine Handvoll langer Agenten-Kontexte, und der Platz ist weg.

Das Abo hat dieses Problem nicht, weil der Anbieter parallele Anfragen auf einer gebatchten Rechenzentrums-Flotte verteilt. Zehn Sub-Agenten fühlen sich dort an wie einer. Lokal bräuchten Sie für dasselbe Gefühl nicht die 10.000-Euro-Maschine, sondern den Cluster für 40.000 Euro oder gleich die Rechenzentrums-Klasse. Damit rückt der Break-even für genau das Nutzungsprofil, das sich gerade durchsetzt, außer Reichweite.

Zur ehrlichen Rechnung gehört auch die Gegenrichtung: Auf einem echten GPU-Server dreht sich das Argument teilweise um. Dort verbessert Batching die Kosten pro Token, je voller die Maschine läuft. Das stärkt den Volumen-Fall im nächsten Abschnitt, aber auf der 150.000-Euro-Stufe, nicht bei 10.000.

Wo eigene Hardware trotzdem richtig ist

Das alles heißt nicht “nie selbst hosten”. Es heißt: nicht aus Kostengründen und nicht, um die Spitze einzuholen. Eigene Hardware ist richtig, wenn etwas anderes als der Preis pro Token regiert.

• Daten, die das Haus nicht verlassen dürfen. Reguliertes Gesundheits-, Rechts- oder Verteidigungsumfeld, abgeschottete Netze. Hier ist das Abo zu keinem Preis eine Option. Das ist das stärkste Argument, und für viele Mittelständler das einzige, das zählt.
• Sehr hohes, planbares Dauervolumen. Wenn selbst die großzügigen Abo-Grenzen nicht reichen und die Tokens sonst pro Stück in die Tausende pro Monat laufen würden, kann die Rechnung kippen.
• Volle Kontrolle und kein Limit. Eigene Maschine, keine Drosselung zur Stoßzeit, keine wöchentliche Obergrenze. Fine-Tuning, eigene Quantisierung, Forschung an den Gewichten selbst. Das ist echter Wert, aber Lern- und Souveränitätswert, keine Ersparnis.

Der Rahmen ist entscheidend: Eigene Hardware ist eine Fähigkeit (Datenschutz, Souveränität, Kontrolle), kein Sparhebel gegen die Spitze. Wer sie als Kostenoptimierung verkauft, rechnet sich in einen Fehler.

Was Sie jetzt einordnen können

Sie können jetzt erklären, warum die naheliegende Antwort (“eigener Server gleich Unabhängigkeit und langfristig billiger”) in den meisten Fällen die teure ist, und woran man die Ausnahme erkennt. Der eine Satz zum Mitnehmen: Mieten Sie die Spitze, kaufen Sie lokal nur für Souveränität, nie zum Sparen.

Die nächste Frage, die fast immer folgt, ist die nach den laufenden Kosten der Miete selbst: Wie hält man die Token-Rechnung eines Abos oder einer API im Griff, wenn die Nutzung wächst? Das ist eine eigene Rechnung, und eine, die man früher aufstellen sollte als die meisten denken.

Häufige Fragen

Kann man ein KI-Modell mit einer Billion Parametern lokal betreiben? Ja. Modelle wie Kimi K2.7 (rund 1 Billion Parameter) und GLM-5.2 (744 Milliarden) sind Mixture-of-Experts: Pro Token ist nur ein kleiner Teil aktiv. Entscheidend ist genug Arbeitsspeicher, nicht rohe Rechenleistung. Realistisch heißt das 512 GB aufwärts.

Ist ein eigener KI-Server günstiger als ein Abo? In aller Regel nicht. Eine lokale Maschine für rund 10.000 Euro braucht gegen ein 200-Dollar-Abo über vier Jahre bis zum Break-even, und das lokale Modell ist dabei schwächer und langsamer. Eigene Hardware lohnt sich aus Datenschutz- oder Volumengründen, nicht zum Sparen.

Wann lohnt sich eigene KI-Hardware? Wenn Daten das Haus nicht verlassen dürfen (reguliertes oder abgeschottetes Umfeld), bei sehr hohem planbarem Dauervolumen, oder wenn volle Kontrolle und kein Rate-Limit den Ausschlag geben. Als reine Kostenoptimierung gegen die Spitzenmodelle lohnt sie sich nicht.

Reicht ein Mac Studio für KI-Agenten-Workflows? Für eine einzelne Session ja, mit Geduld. Für parallele Sessions mit Sub-Agenten nein: Die 15 bis 18 Tokens pro Sekunde gelten für einen Strom, das Einlesen langer Kontexte dauert Minuten, und der Speicher neben den Modellgewichten reicht nur für wenige gleichzeitige Kontexte. Parallele Agenten-Arbeit braucht die Cluster- oder Rechenzentrums-Klasse, oder das Abo.

Verwandt: Wann sich eigene Software lohnt und Was kostet ein KI-Projekt im Mittelstand.