Ein ChatGPT-Miterfinder sagt: Der KI fehlt ein Modell, das nicht spricht

Am 15. September trat ein zwei Jahre altes Startup namens TypeSafe AI aus dem Stealth-Modus hervor: mit 40 Millionen Dollar Seed-Finanzierung und einer schonungslosen Diagnose der KI-Branche. Chat-Modelle seien sehr gut darin, zu reden, und genau deshalb sei so viel versprochene Automatisierung ausgeblieben.

Zum Weiterlesen: Anthropics Claude Haiku 5.5 ist sein bisher günstigstes kleines Modell · SpaceXAI liefert Grok 4.7 fürs Coden zu Grok-4.6-Preisen, mit passenden Hersteller-Benchmarks.

Die Antwort des Unternehmens ist ein Modell namens Jev, das erste einer Klasse, die es System-One-Modelle nennt. Jev schreibt keine Sätze. Es nimmt unstrukturierten Zustand als Eingabe und gibt typisierte, strukturierte Werte zurück, versehen mit kalibrierten Konfidenzwerten. In der Formulierung des Unternehmens ist es ein „Frontier-Intelligence-Funktionsaufruf“: etwas, das ein Programm an einer Entscheidungsstelle einsetzen kann, an der eine handgeschriebene Regel zu starr und ein Sprachmodell zu langsam, zu teuer oder zu geneigt wäre, sich Dinge auszudenken.

TypeSafe wurde 2024 von Diogo Almeida gegründet, einem ehemaligen OpenAI-Forscher, der die Reinforcement-Learning-Methoden hinter InstructGPT und damit auch hinter ChatGPT mitentwickelt hat. Seine Mitgründer sind Erik Gafni und Sasha Sheng. Die Seed-Runde führte DCVC an, und das Unternehmen erklärt, Jev sei ab sofort im Early Access verfügbar, wobei Entwickler je nach Kapazität von einer Warteliste nachrücken.

Warum ein Modell auf Zeichenketten verzichten würde

Das Verkaufsargument ruht auf einer Unterscheidung, die leicht zu übersehen ist. Ein herkömmliches großes Sprachmodell gibt Text zurück, und fast alles, was es danach tut, hängt davon ab, dass jemand diesen Text wieder in eine Entscheidung übersetzt. Sein Training belohnt Antworten, die menschliche Bewerter bevorzugen, oder Antworten, deren Korrektheit automatisch geprüft werden kann. Keines der beiden Ziele bringt ein Modell hervor, das ehrlich darüber ist, wie sicher es sich ist.

Almeidas Team argumentiert, dass genau das der Engpass sei. „Wenn ein Modell eine Aufgabe in 95 Prozent der Fälle lösen kann, aber nicht sagt, wann es zu den 5 Prozent gehört, kann es diese Aufgabe nicht automatisieren“, schrieb das Unternehmen in seinem Startbeitrag. Ein System, das meistens richtigliegt und die Ausnahmen nicht markieren kann, ist keine Komponente, die man in einen automatisierten Arbeitsablauf einbinden kann, weil die Fehler unsichtbar bleiben, bis eine nachgelagerte Komponente ausfällt.

Das Trainingsverfahren von TypeSafe heißt Reinforcement Learning for Calibrated Decisions, kurz RLCD. Wo RLHF auf menschliche Präferenz optimiert, optimiert RLCD auf Entscheidungen, die mit erkenntnistheoretisch ehrlichen Wahrscheinlichkeiten einhergehen. Die Ausgaben des Modells sind durch ein vorab definiertes Schema eingeschränkt, sodass die möglichen Werte und ihre Struktur feststehen, bevor das Modell läuft. TypeSafe zufolge macht das Typfehler unmöglich, und ein Modell, das niemals freien Text erzeugt, könne keinen Text halluzinieren.

Die zweite Hälfte des Entwurfs ist der Sampler. Gewöhnliche Sprachmodelle erzeugen Token für Token, jedes bedingt durch das vorige, weshalb eine schwierige Anfrage Sekunden dauern kann und die Kosten damit skalieren, wie viel das Modell schreibt. Jev erzeugt alle seine Ausgaben in einer einzigen Abfrage, parallel. Das Unternehmen gibt an, eine System-One-Antwort komme in 70 bis 500 Millisekunden an, gegenüber den 3 bis 329 Sekunden, die es für Frontier-Chat-Modelle messe, und der Preis für die Eingabe liege bei 0,042 US-Dollar pro Million Token, wobei Ausgabe-Token kostenlos seien.

Auf seiner Startseite nennt TypeSafe Zugewinne von bis zu 193,6-facher Geschwindigkeit und 444,6-facher Kostenreduktion für die Arten von Arbeitslasten, auf die es zielt, und räumt ein, dass diese Zahlen am optimistischen Ende dessen liegen, was Kunden erwarten dürften.

Der Benchmark ist der schwache Punkt

Das Interessante an der Markteinführung ist nicht die Geschwindigkeitsbehauptung. Es ist die Sorgfalt, mit der das Unternehmen seinen Intelligenzanspruch absichert, und die Geschwindigkeit, mit der externe Prüfer die Nahtstelle gefunden haben.

TypeSafe veröffentlichte eine Reihe von Workflow-Evaluierungen über 711 Fälle in vier Aufgaben: Triage von Sicherheitsvorfällen, Observability über Agenten-Spuren, Rechnungsverarbeitung und Kundenservice. Statt gegen eine handgelabelte Ground Truth zu bewerten, behandelt es das durchschnittliche Urteil zweier Frontier-Modelle, GPT-6 Astra und Fable 5.1, als Referenzantwort. Gegen diese Referenz besitzt Jev die Effizienzgrenze mit großem Abstand und antwortet oft in Bruchteilen einer Sekunde für Bruchteile eines Cents.

Das Genauigkeitsbild ist gemischter. Auf dem eigenen Dashboard von TypeSafe liegt die aggregierte Übereinstimmung von Jev mit der Referenzrichtlinie bei etwa 67,8 Prozent, unter den 74,1 Prozent des besten sichtbaren Vergleichsmodells. Am stärksten schneidet es im Kundenservice ab, mit 76,0 Prozent, nahe am besten Modell und über einem anderen. Am schwächsten ist es bei der Rechnungsverarbeitung, wo es 61,8 Prozent erreicht gegenüber 79,1 Prozent beim besten Vergleichsmodell, eine Lücke, die im Produktivbetrieb ins Gewicht fallen würde. Eine am selben Tag veröffentlichte ausführliche Prüfung der Analyseseite Kingy kam zu dem Schluss, dass die öffentliche Evidenz „die Systemgeschichte“ rund um Typisierung, Batching, Latenz und Kosten stütze, aber „die stärkste Intelligenzgeschichte noch nicht“ belege, auch weil die Referenzlabels modellgeneriert und nicht verifiziert seien.

TypeSafe versteckt diese Einschränkungen nicht. Es weist darauf hin, dass die Workflows vom eigenen Capabilities-Team erstellt wurden, dass die Mittelung von Astra und Fable die Referenz in Richtung OpenAI und Anthropic verschiebe und dass seine Schlagzeilen-Multiplikatoren aus einem arbeitslastspezifischen Test stammen und kein universelles Maß sind. Es räumt zudem ein, dass manche Vergleiche nicht schmeichelhaft sind, darunter einer, bei dem ein Prüfer feststellte, dass Jev einen Schreibfehler übersah, den ein Frontier-Modell erkannt hatte.

Das Gegengewicht ist ein kleiner unabhängiger Test. Mike Taylor vom Newsletter Every ließ 37 Dokumente und 777 Urteile durch Jev laufen, der Ergebnisse in unter 0,7 Sekunden zu Kosten von etwa einem Viertel Cent zurückgab. In einem direkten Vergleich bei der Fehlererkennung fand Jev sechs von sieben beabsichtigten Mängeln, während Fable 5.1 alle sieben fand, dafür aber weit schneller und billiger lief. Das ist die Gestalt des Geschäfts, das das Unternehmen verkauft: nicht besser als das klügste Modell, aber gut genug für enge Entscheidungen zu einem Preis und einer Geschwindigkeit, die Automatisierung in großem Volumen tragfähig machen.

Warum die Konfidenz das ganze Argument ist

Der Kalibrierungsanspruch verdient mehr Aufmerksamkeit als die Geschwindigkeitsdiagramme, denn er ist der Teil, der verändert, was Software leisten kann.

Ein Agent, der entscheiden muss, ob er eine Rückerstattung auslöst, eine Transaktion markiert oder einen Supportfall weiterleitet, braucht zweierlei von einem Modell: eine Antwort und eine ehrliche Einschätzung, wie sehr dieser Antwort zu trauen ist. Die heutigen Chat-Modelle neigen dazu, das Erste zu liefern und das Zweite zu erfinden. Fragt man eines nach einem Konfidenzniveau, gibt es meist etwas Plausibles zurück, das von seiner tatsächlichen Fehlerrate losgelöst ist. Die Folge ist, dass Teams, die Automatisierung bauen, am Ende für jede Entscheidung eine menschliche Prüfung anhängen, was einen Großteil der Einsparungen zunichtemacht, die sie anstrebten.

TypeSafe wettet darauf, dass ein Modell, das auf kalibrierte Wahrscheinlichkeiten trainiert ist, diese Hürde nehmen kann, sodass Software auf Antworten mit hoher Konfidenz handeln und den Rest eskalieren kann. Das ist ein überprüfbares Versprechen und zugleich ein zerbrechliches: Eine Kalibrierung, die auf den eigenen Workflows eines Anbieters gemessen wurde, sagt wenig darüber aus, wie sich das Modell verhält, wenn sich die Eingaben verschieben. Das öffentliche Material enthält weder die Tail-Latenz noch die Ratenlimits oder das Wiederholungsverhalten, die ein Produktionsteam haben möchte, und die Konfidenzkurven, die den Kernanspruch belegen würden, sind nicht vollständig veröffentlicht.

Es gibt einen breiteren Grund, warum die Kalibrierungsfrage gerade jetzt ankommt. Das vergangene Jahr hat deutlich gemacht, dass leistungsfähige Modelle, die autonom handeln, auf teure Weise scheitern können, und dass die Fehler oft Konfidenzprobleme sind und nicht Fähigkeitsprobleme. Systeme, die klar sagen können „Ich weiß es nicht“ und es auch meinen, sind diejenigen, die ohne eine Person betrieben werden können, die jeden Schritt beobachtet.

Was Jev nicht ist

Es lohnt sich, die Grenzen genau zu benennen, denn die Rahmung lädt zum Überinterpretieren ein. Jev kann keine Zusammenfassung schreiben, keine E-Mail entwerfen und seine Überlegungen nicht in Prosa erklären. Es ist kein kleinerer oder billigerer Chatbot, und das Unternehmen behauptet nicht, dass es einen ersetzen sollte. Jeder Workflow, der Wörter produzieren muss, braucht weiterhin einen separaten Generator, was bedeutet, dass die wahren Kosten einer fertigen Aufgabe ein großes Modell zusätzlich zu Jevs billigen Entscheidungen umfassen. Die eigenen Demos des Unternehmens stützen sich auf den umgebenden Code, um die Freiheit des Modells einzuschränken, was ehrlich zeigt, woher die Zuverlässigkeit kommt.

Was Jev ist, wenn die Zahlen halten, ist ein schneller und kostengünstiger Entscheidungsbaustein für enge Fragen mit hohem Volumen, die Software ohnehin beantworten muss: Ist diese Nachricht missbräuchlich, passt dieser Datensatz zu jener Entität, sollte diese Anfrage weitergeleitet oder abgelehnt werden. Das sind wenig glamouröse Aufgaben, und es gibt sehr viele davon.

Die unterhaltsamen Demos und die ernsten

Um den Punkt zu veranschaulichen, lieferte TypeSafe Demos, die eher im Gedächtnis bleiben als im Einsatz. Eine steuert einen Bot durch Doom, speist ihm strukturierte Spielzustände ein und fragt mit etwa zehn Abfragen pro Sekunde nach Entscheidungen, eine Arbeitslast, die das Unternehmen mit rund 7 US-Dollar pro Stunde beziffert. Eine andere spielt Wikiracing und navigiert nur über Links von einer Wikipedia-Seite zur nächsten, eine Aufgabe, bei der eine einzige falsche Wahl den Durchlauf entgleisen lässt und bei der Jevs Unfähigkeit, einen Link zu halluzinieren, ein Vorteil ist.

Die beabsichtigten kommerziellen Einsätze sind alltäglicher und wertvoller: Support-Tickets klassifizieren und weiterleiten, Felder bewerten und extrahieren, gegen Jailbreaks absichern und die Eingaben oder Ausgaben anderer Modelle überprüfen. Das sind die unscharfen If-Anweisungen in Software, die Teams mit starren Regeln oder mit Prompts an ein großes Modell angenähert haben. Jevs Wette ist, dass ein kleines, schnelles, schema-gebundenes Modell besser passt als ein allgemeines.

Diese Wette ist umkämpft. OpenAI, Anthropic und Google haben alle strukturierte Ausgaben vorangetrieben, und das vergangene Jahr brachte eine Welle kleiner und spezialisierter Modelle für günstige Inferenz. Was TypeSafe argumentiert, ist subtiler: dass kalibrierte Konfidenz, nicht rohe Fähigkeit, darüber entscheidet, ob einem Modell zugetraut werden kann, ohne einen Menschen im Regelkreis zu handeln. Das ist eine Behauptung, die Kunden testen können, und das Unternehmen lädt sie dazu ein.

Worauf zu achten ist

Der Early Access wird der eigentliche Test sein, denn die Workflow-Evaluierungen stammen vom Anbieter selbst. Achten Sie darauf, ob unabhängige Teams Ground-Truth-Vergleiche veröffentlichen, die die Kosten- und Geschwindigkeitsbehauptungen stützen, und ob Jevs Konfidenzwerte kalibriert bleiben, wenn die Eingabe von den Demos abweicht. Achten Sie auch darauf, ob sich die Genauigkeitslücke bei schwierigeren Aufgaben wie der Rechnungsverarbeitung schließt, wo das Modell derzeit zurückliegt.

Der Name ist ein Hinweis auf die Strategie. Jev ist die Kurzform von Jevons, nach dem Ökonomen des 19. Jahrhunderts, der beobachtete, dass die effizientere Nutzung einer Ressource dazu neigt, ihren Verbrauch zu erhöhen statt zu senken. TypeSafes These lautet, dass Intelligenz zu teuer war, um über gewöhnliche Software gestreut zu werden, und dass ein hundertfacher Preisverfall sie zu einem Baustein statt zu einem Ziel macht. Wenn das eintritt, könnte die nützlichste KI in einem Unternehmen am Ende das Modell sein, mit dem niemand chattet.