Direkt zum Hauptinhalt

Gensyn Judge: Die fehlende Qualitätsverifizierungsschicht für dezentrale KI

· 14 Min. Lesezeit
Dora Noda
Dora Noda
Software Engineer

Die dezentrale KI hat fünf Jahre lang damit verbracht, die falsche Frage zu beantworten. Der gesamte Stack — Bittensors Subnetze, Gensyns Trainings-Marktplatz, Ambients Inferenz-Netzwerk, jedes ZKML-Beweissystem — war davon besessen, zu beweisen, dass die Berechnung stattgefunden hat. Ein Miner führte die Inferenz aus. Ein Node trainierte N Stunden lang auf dem richtigen Datensatz. Eine GPU produzierte die behaupteten Logits. Kryptografisch, elegant und teuer verifiziert.

Nichts davon beantwortet die Frage, die ein Einkaufsleiter eines Unternehmens tatsächlich stellt: Taugt das Modell etwas?

Der Launch von Judge durch Gensyn Ende April 2026 ist der erste ernsthafte Versuch, diese Lücke zu schließen. Es ist kein weiterer Konsensmechanismus. Es ist kein weiteres Proof-of-Something. Es ist eine verifizierbare Evaluierungsebene, die „Training hat stattgefunden“ von „Training wurde korrekt durchgeführt“ entkoppelt — und diese Unterscheidung könnte das wichtigste Primitiv sein, das DeAI in diesem Zyklus hervorgebracht hat.

Der Verifizierungs-Stack hat eine Lücke​

Um zu verstehen, warum Judge wichtig ist, muss man sich ansehen, was der bestehende DeAI-Verifizierungs-Stack tatsächlich verifiziert — und was er insgeheim nicht tut.

Verde von Gensyn (das Protokoll unter Judge) verifiziert, dass ein spezifischer Trainingsschritt an einem bestimmten neuronalen Netzwerk-Operator die korrekte Ausgabe erzeugt hat. Mehrere nicht vertrauenswürdige Anbieter führen dieselbe Aufgabe aus; weichen die Ergebnisse voneinander ab, identifiziert ein Schiedsrichter genau den Operator im Rechengraphen, bei dem Uneinigkeit herrschte, und führt nur diese Operation erneut aus. Elegant, günstig und nachweislich korrekt — für den Schritt.

Proof-of-Logits von Ambient, das 7,2 Millionen US-Dollar von a16z CSX einsammelte und auf einer Solana SVM-kompatiblen L1 läuft, verifiziert, dass eine Inferenz auf dem vereinbarten Modell stattgefunden hat. Ein Miner generiert Text, ein Verifizierer zieht stichprobenartig einen Token, der Miner produziert die entsprechenden Logits, und der Verifizierer führt diesen einzelnen Inferenzschritt unabhängig erneut aus. Wenn der Hash übereinstimmt, wird die Inferenz mit einem behaupteten Overhead von 0,1 % bei einem Modell mit über 600 Milliarden Parametern verifiziert.

DeepProve von Lagrange, das erste zkML-System, das eine vollständige LLM-Inferenz (ursprünglich GPT-2) beweist, geht noch weiter: kryptografische Zero-Knowledge-Attestierung, dass das richtige Modell die richtige Ausgabe für die richtige Eingabe erzeugt hat. Der Haken ist bekannt — die Beweiserzeugung ist tausendmal langsamer als die zugrunde liegende Inferenz.

Die Subnetz-Validatoren von Bittensor bewerten die Miner-Ausgaben basierend auf subnetzspezifischen Anreizmechanismen — aber die Validatoren selbst haben ein Stake-gewichtetes finanzielles Interesse an den Ergebnissen, die sie bewerten. Die Kritik vom April 2026 ist vernichtend: Die Top-10-Validatoren nach Stake kontrollieren etwa 65 % der Stimmkraft des Root-Netzwerks, die Top 3 kontrollieren 38 %, und Forscher auf Subnetz 1 dokumentierten, dass Miner gecachte Antworten auf bekannte Validator-Anfragen lieferten — wodurch der eigentliche Inferenzschritt vollständig umgangen wurde, während sie dennoch Belohnungen erhielten.

Achten Sie auf das Muster. Jedes dieser Systeme verifiziert einen Prozess: Die Matrixmultiplikation war korrekt, die Inferenz wurde tatsächlich ausgeführt, das Modell, das die Ausgabe signiert hat, ist dasjenige, das festgelegt wurde. Keines von ihnen verifiziert, dass das resultierende Modell — oder die resultierende Ausgabe — seinen Job gut macht.

Das ist die Lücke, die Judge füllt.

Was Judge tatsächlich macht​

Judge führt ein vorab vereinbartes, deterministisches KI-Modell gegen reale Eingaben aus und verpflichtet sich dazu, öffentlich angefochten zu werden. Auf Verde aufgebaut, erbt es die delegierte Schiedsgerichtsbarkeit: Mehrere unabhängige Verifizierer-Nodes führen dieselbe Evaluierungsaufgabe aus, und Unstimmigkeiten werden gelöst, indem nur der spezifische Operator neu berechnet wird, bei dem die Ausgaben voneinander abwichen.

Die technische Grundlage ist das Reproducible Execution Environment (REE) von Gensyn — eine Laufzeitumgebung, die bitgenaue Reproduzierbarkeit über heterogene Geräte hinweg garantiert. Um dies zu ermöglichen, hat Gensyn maßgeschneiderte CUDA-Kernel entwickelt, die Assoziativität und Determinismus bei Operationen (wie Gleitkomma-Reduktionen) erzwingen, die auf GPUs standardmäßig nicht-deterministisch sind. Das Ergebnis: Dasselbe Modell bei derselben Eingabe erzeugt bitgenau dieselben Logits, egal ob man es auf einer H100 in einem Frankfurter Rechenzentrum oder auf einer 4090 in einem Keller ausführt.

Das klingt wie ein technisches Detail. Es ist jedoch das entscheidende Primitiv. Bitgenaue Reproduzierbarkeit ermöglicht es einem Drittanbieter-Verifizierer, einen Evaluierungsanspruch anzufechten, indem er ihn erneut ausführt und das exakt gleiche Ergebnis erhält. Ohne dies lässt sich nicht feststellen, ob eine Abweichung Betrug oder Gleitkommarauschen ist.

Das Framework lässt sich natürlich auf jeden Bereich übertragen, in dem ein verifizierbares Urteil entscheidend, aber schwer skalierbar ist: Evaluierungs-Benchmarks, Lösung von Prognosemärkten, Modell-Ranglisten und sogar KI-gestützte Streitbeilegung. In jedem dieser Szenarien ersetzt Judge das „Vertrauen Sie mir, die geschlossene API besagt, dass das Modell 87,3 % erreicht hat“.

„Geschlossene APIs sind intransparent, werden im Stillen aktualisiert und sind unmöglich zu reproduzieren“​

Diese Zeile aus dem Launch-Post von Gensyn ist der Werbetext. Sie ist aber auch die Anklageschrift gegen die aktuelle Evaluierungsbranche.

Wenn Sie im Jahr 2026 als Unternehmen ein KI-Modell kaufen, sind Ihre einzigen Optionen für eine Evaluierung:

  1. Vertrauen Sie den eigenen Benchmarks des Anbieters. OpenAI, Anthropic und Google veröffentlichen selbst berichtete Zahlen auf ihren eigenen Evaluierungsumgebungen. Die Umgebung kann im Stillen aktualisiert werden. Der Testdatensatz kann in die Trainingsdaten einsickern. Der Anbieter hat jeden Anreiz, die Metrik zu optimieren.

  2. Vertrauen Sie einem Drittanbieter-Benchmark. MMLU, HumanEval, SWE-bench, die LMSYS Chatbot Arena. Diese genießen zwar Glaubwürdigkeit, sind aber ebenfalls geschlossene APIs, werden von kleinen Teams betrieben und sind historisch anfällig für eine Kontamination des Testdatensatzes. Als die o1-Familie von OpenAI bei Codeforces-Problemen 89 % erreichte, war die unmittelbare Frage: Wie viel davon war das Auswendiglernen des Trainingsdatensatzes im Vergleich zu echter Generalisierung?

  3. Führen Sie Ihre eigene Evaluierung durch. Teuer, schwer zu standardisieren und völlig unmöglich extern zu reproduzieren, wenn Sie jemals Ergebnisse veröffentlichen oder verkaufen wollen.

Judge ist die vierte Option: eine öffentliche, deterministische Evaluierung, die jeder durch erneutes Ausführen anfechten kann. Die geschlossene API wird zu einer öffentlichen Verpflichtung.

Speziell für die dezentrale KI ist dies wichtiger als für die zentrale KI, da das Problem des Eigeninteresses des Herausgebers strukturell schwerwiegender ist. Wenn die eigenen Validatoren eines Bittensor-Subnetzes die eigenen Miner des Subnetzes bewerten, ist der Interessenkonflikt in das Protokoll eingebaut. Gensyn Judge eliminiert das Eigeninteresse des Herausgebers konzeptionell — Verifizierer-Nodes sind nicht die Produzenten, und jedes Urteil kann von einem Dritten angefochten werden, der kein wirtschaftliches Interesse am Ergebnis hat.

Die Vergleichsmatrix, der DeAI bisher aus dem Weg gegangen ist​

Legen wir offen, was jedes Verifizierungs-Primitiv tatsächlich beweist, da das Marketing dies seit zwei Jahren verschleiert:

  • Verde / Gensyn (Training): Dieser Trainingsschritt hat den korrekten Gradienten für das vereinbarte Modell und die Daten berechnet. Sagt nichts darüber aus, ob das resultierende Modell generalisiert.
  • Proof-of-Logits / Ambient (Inferenz): Dieser Inferenz-Aufruf hat die behaupteten Logits aus dem vereinbarten Modell und Prompt erzeugt. Sagt nichts darüber aus, ob die Antwort des Modells korrekt oder nützlich ist.
  • ZKML / Lagrange DeepProve (Inferenz, Zero-Knowledge): Diese spezifische Inferenz wurde korrekt auf diesem spezifischen Modell ausgeführt, und ich kann dies beweisen, ohne das Modell oder die Eingabe offenzulegen. Gleicher Umfang wie Proof-of-Logits, aber mit Datenschutzgarantien und etwa den 1000-fachen Kosten.
  • Bittensor Subnet Scoring (Output-Ranking): Unter diesen N Miner-Ergebnissen ordnet der Validator V diese in dieser Reihenfolge ein, gewichtet nach dem Stake von V. Subjektiv, manipulierbar und interessengeleitet.
  • UMA Optimistic Oracle (Daten-Wahrheit): Eine von Menschen geschlichtete Behauptung über eine externe Wahrheit, die rechtskräftig wird, wenn sie nicht innerhalb eines Zeitfensters angefochten wird. Entwickelt für Finanzdaten, nicht für die Qualität von ML-Outputs.
  • Gensyn Judge (Evaluierung): Ein vorab festgelegtes deterministisches Evaluierungsverfahren wurde korrekt auf realen Eingabedaten ausgeführt, und das Ergebnis ist für jeden Herausforderer bitweise reproduzierbar. Das einzige Verfahren in dieser Liste, das die Output-Qualität auf verifizierbare, neutrale Weise adressiert.

Das ist kein kleiner Unterschied. Es ist der Unterschied zwischen dem Nachweis, dass ein Bauunternehmer zur Arbeit erschienen ist, und dem Nachweis, dass er das Haus tatsächlich nach Plan gebaut hat.

Warum die Unternehmensbeschaffung DeAI ohne dies nicht kaufen kann​

Der Markt für KI-Beschaffung in Unternehmen wächst rasant — Precedence Research prognostiziert, dass allein die KI in der Beschaffung von 4,25 Mrd. imJahr2026auf39,20Mrd.im Jahr 2026 auf 39,20 Mrd. bis 2035 ansteigen wird, bei einer durchschnittlichen jährlichen Wachstumsrate (CAGR) von 28 %. McKinsey-artige Unternehmensstudien beziffern die Ausgaben pro Anwendungsfall auf 1,0 Mio. bis2,6Mio.bis 2,6 Mio. für ernsthafte KI-Beschaffungsinitiativen. Nichts von diesem Geld fließt heute in DeAI, und der Grund dafür ist nicht Bandbreite oder Latenz. Es ist die Verifizierbarkeit der Qualität.

Ein Risikobeauftragter bei einem Fortune-500-Unternehmen wird einen zentralisierten API-Aufruf an GPT-5 oder Claude Opus genehmigen, weil der Anbieter die Haftung übernimmt und eine Dokumentationskette bereitstellt. Derselbe Risikobeauftragte kann kein Routing der Inferenz über ein Bittensor-Subnetz genehmigen, dessen Miner möglicherweise gecachte Antworten liefern, oder ein Modell kaufen, das von einem Gensyn-Kollektiv trainiert wurde, dessen einzige Bestätigung lautet: „Die Gradientenschritte waren gültig.“ Es gibt keinen Mechanismus, um zu verifizieren, dass das resultierende Artefakt für den Zweck geeignet ist.

Judge ändert dieses Gespräch, indem es der Beschaffung ein Werkzeug an die Hand gibt, das in der zentralisierten Welt strukturell unmöglich ist: ein Modell, dessen Evaluierungsergebnisse nicht nur veröffentlicht, sondern öffentlich nachvollziehbar erneut ausführbar sind. Das ist eine stärkere Garantie als jedes SOC-2-Audit, da es kontinuierlich falsifizierbar ist und nicht nur periodisch bescheinigt wird.

Dies ist auch die Ebene, die es DeAI ermöglicht, über Beschaffungskriterien zu konkurrieren, die nicht nur „wir sind billiger“ lauten. Eine dezentrale Inferenz, die 30 % günstiger ist als AWS Bedrock, bewegt keine Unternehmensbudgets. Dezentrale Inferenz, deren Ergebnisse mit einer kryptografischen, bitweise reproduzierbaren Qualitätsbescheinigung geliefert werden, die kein zentralisierter Anbieter erreichen kann — das tut es.

Das Reproduzierbarkeitsproblem ist im Stillen der schwierigste Teil​

Es ist leicht zu unterschätzen, wie schwierig bitweise Reproduzierbarkeit auf GPUs tatsächlich ist. Standardmäßige Gleitkomma-Reduktionen auf CUDA sind nicht-assoziativ — (a + b) + c und a + (b + c) liefern aufgrund von Zwischenrundungen unterschiedliche Ergebnisse, und die Reihenfolge der Summierung in einer parallelen Reduktion hängt vom Thread-Scheduling ab, welches wiederum von Hardware, Treiber und Laufzeit beeinflusst wird. Zwei H100s, die dasselbe Modell mit derselben Eingabe ausführen, erzeugen regelmäßig leicht unterschiedliche Logits.

Den meisten ML-Inferenzsystemen ist das egal, da das Ergebnis ohnehin stochastisch gesampelt wird. Aber für eine verifizierbare Evaluierung ist diese Abweichung fatal. Wenn der Verifizierer und der Prover bei einem Logit um 0,0001 voneinander abweichen, kann man nicht sagen, ob einer von ihnen betrogen hat oder ob die GPU einfach anders gerundet hat.

Die REE von Gensyn löst dies durch das Schreiben spezieller CUDA-Kernel, die eine deterministische Reduktionsreihenfolge erzwingen, selbst auf Kosten eines gewissen Durchsatzes. Es ist die Art von Low-Level-Engineering, die in keinem Pitch-Deck auftaucht, aber den eigentlichen Burggraben (Moat) darstellt. Ambient löst ein verwandtes Problem (Verifizierung, dass die Inferenz auf dem vereinbarten Modell stattfand), indem der Logit-Zustand an zufällig ausgewählten Token-Positionen gehasht wird; Verde und Judge gehen weiter und verlangen, dass die gesamte Berechnung von Ende zu Ende reproduzierbar ist.

Dies ist auch der Grund, warum Judge über KI hinaus generalisierbar ist. Alles, was eine öffentliche, reproduzierbare und anfechtbare Berechnung erfordert — die Abwicklung eines Prognosemarktes über den Ausgang eines Sportereignisses unter Verwendung eines deterministischen Modells, die Regulierung eines Versicherungsanspruchs gegen eine deterministische Risikobewertung — kann auf demselben Primitiv aufbauen. Der Anwendungsfall der Evaluierungs-Benchmarks ist nur der erste Schritt.

Die Dinge, die Judge (noch) nicht löst​

Ehrliche Einschätzung: Judge ist kein magischer Zauberstab für die Verifizierung. Es gibt drei offene Probleme, die es nicht adressiert.

Das Problem des Evaluierungsdesigns. Judge garantiert, dass die Evaluierung deterministisch und reproduzierbar abläuft. Es garantiert nicht, dass die Evaluierung aussagekräftig ist. Wenn Sie sich auf einen Benchmark festlegen, der sich später als Teil der Trainingsdaten herausstellt, wird Judge getreulich eine nutzlose Zahl reproduzieren. Das Problem des Benchmark-Designs — das Evals wie SWE-bench und ARC-AGI überhaupt erst schwierig macht — liegt eine Ebene über Judge und ist ungelöst.

Der Latenz-Kosten-Abgleich. Die schiedsrichterliche Delegation (Refereed Delegation) erfordert, dass mehrere Verifizierer bereit sind, dieselbe Evaluierung durchzuführen, wobei der Streitbeilegungsmechanismus nur bei Unstimmigkeiten eingreift. Die Ökonomie dahinter, wer für redundante Evaluierungsläufe bezahlt und wie Anfechtungen finanziert werden, wird entscheiden, ob das System über Vorzeige-Benchmarks hinaus auf Modell-Audits pro Kunde skalierbar ist. Der $AI-Token des Gensyn-Protokolls (300 Mio. Token im Verkauf im Dezember 2025 veräußert) ist als Zahlungsschiene vorgesehen, aber die realen Evaluierungs-Ökonomien müssen sich erst noch beweisen.

Das „Was ist das Modell“-Problem. Judge verifiziert die Ausführung eines vorab vereinbarten Modells. Es löst nicht die Frage, wie das Modell in diesen Zustand gekommen ist, auf eine verifizierbare Weise. Die Kombination von Verde-verifiziertem Training mit Judge-verifizierter Evaluierung ist das offensichtliche Endspiel, aber die Integration ist noch nicht produktreif und die Kostenstruktur von „Training beweisen + Evaluierung beweisen“ ist deutlich höher als beides einzeln.

Dies sind reale Grenzen. Aber es sind auch Grenzen, die kein anderes DeAI-Verifizierungs-Primitiv löst — und in mehreren Fällen (insbesondere beim Evaluierungsdesign) handelt es sich nicht wirklich um technische Probleme, sondern um soziale und wirtschaftliche, welche die gesamte KI-Branche bisher ebenfalls nicht gelöst hat.

Was dies für den DeAI-Stack bedeutet​

Zoomt man heraus, beginnt der Verifizierungs-Stack zum ersten Mal wie eine echte Leiter auszusehen:

  1. Compute-Attestierung (TEEs, einfaches Proof-of-Work) — dieser Code lief auf dieser Hardware.
  2. Prozess-Verifizierung (Verde, Proof-of-Logits, ZKML) — diese spezifische Berechnung hat dieses spezifische Ergebnis erzeugt.
  3. Qualitätsbewertung (Judge) — dieses Modell erbringt die behauptete Leistung gegenüber einem vereinbarten Benchmark, reproduzierbar.
  4. Ergebnis-Verantwortlichkeit (fehlt noch) — das Verhalten des bereitgestellten Modells hat die vertragliche SLA über die Zeit hinweg erfüllt.

Seit zwei Jahren baut DeAI die Stufen 1 und 2 isoliert auf, in der Hoffnung, dass die Unternehmensnachfrage auf der Grundlage von Kosten- und Dezentralisierungs-Narrativen entstehen würde. Das tat sie nicht. Judge ist der erste ernsthafte Versuch an Stufe 3 — der Stufe, die tatsächlich widerspiegelt, wie Unternehmenskäufer über die Modellauswahl nachdenken.

Ob Gensyn speziell diese Ebene gewinnt oder ob das Design innerhalb von zwölf Monaten von Bittensor, Ambient und anderen geklont wird, ist fast nebensächlich. Die Kategorie selbst — neutrale, deterministische, anfechtbare Modellbewertung als dezentrale Infrastruktur — ist nun definiert. Die DeAI-Verifizierungsdebatte hat sich von „welches Proof-System ist am günstigsten“ zu „was beweisen wir eigentlich“ verschoben.

Das ist eine gesündere Debatte, und eine, die zentralisierte KI überhaupt nicht führen kann. Closed-API-Anbieter können keine anfechtbare Bewertung anbieten, da ihre Modelle nicht deterministisch sind, nicht über Dritte hinweg reproduzierbar sind und in keinem sinnvollen kryptografischen Sinne festgeschrieben sind. Das, was DeAI bauen kann und AWS Bedrock strukturell nicht kann, ist genau das, was Judge gerade veröffentlicht hat.

Die nächsten zwölf Monate werden uns zeigen, ob der Unternehmenseinkauf dies bemerkt.

Sie bauen eine DeAI-Infrastruktur, die verifizierbare Rails benötigt — für Chain-RPC, Indexierung oder Modell-Attestierungsabfragen? BlockEden.xyz bietet Enterprise-Grade-Infrastruktur über mehr als 27 Chains hinweg für Teams, die produktive Web3- und KI-integrierte Anwendungen bereitstellen. Erkunden Sie unseren API-Marktplatz, um auf Fundamenten zu bauen, die auf Langlebigkeit ausgelegt sind.

Quellen​

Share on Twitter