본문으로 건너뛰기

Gensyn Judge: 분산형 AI를 위한 누락된 품질 검증 레이어

· 약 12 분
Dora Noda
Dora Noda
Software Engineer

탈중앙화 AI (Decentralized AI) 는 지난 5년 동안 잘못된 질문에 답해 왔습니다. 비텐서 (Bittensor) 의 서브넷, 젠신 (Gensyn) 의 학습 마켓플레이스, 앰비언트 (Ambient) 의 추론 네트워크, 그리고 모든 ZKML 증명 시스템에 이르기까지 전체 스택은 연산이 실제로 수행되었음 을 증명하는 데 집착해 왔습니다. 마이너가 추론을 실행했다거나, 노드가 올바른 데이터셋으로 N시간 동안 학습을 했다거나, GPU 가 주장된 로짓 (logits) 을 생성했다는 식입니다. 이 모든 것들이 암호학적으로, 정교하게, 그리고 값비싼 비용을 들여 검증되었습니다.

하지만 그 어떤 것도 기업의 구매 담당자가 실제로 묻는 질문인 "이 모델이 정말 좋은가?" 에 대한 답을 주지 못합니다.

2026년 4월 말 젠신이 출시한 Judge 는 이 간극을 메우기 위한 첫 번째 진지한 시도입니다. 이것은 또 다른 합의 메커니즘이나 무언가에 대한 증명 방식이 아닙니다. 이것은 "학습이 발생했음" 과 "학습이 올바르게 수행되었음" 을 분리하는 검증 가능한 평가 레이어입니다. 그리고 이 차이점은 이번 사이클에서 탈중앙화 AI (DeAI) 가 내놓은 가장 중요한 프리미티브 (primitive) 가 될 수 있습니다.

검증 스택의 구멍​

Judge 가 왜 중요한지 이해하려면 기존 DeAI 검증 스택이 실제로 무엇을 검증하고, 무엇을 슬쩍 지나치는지 살펴봐야 합니다.

젠신의 Verde (Judge 의 기반이 되는 프로토콜) 는 특정 신경망 연산자의 특정 학습 단계가 올바른 출력을 생성했음을 검증합니다. 신뢰할 수 없는 여러 제공자가 동일한 작업을 수행하고, 결과가 일치하지 않으면 심판 (referee) 이 연산 그래프에서 의견이 불일치하는 정확한 연산 지점을 찾아내어 해당 작업만 재실행합니다. 해당 단계 에 대해서는 우아하고 저렴하며 증명 가능할 정도로 정확합니다.

a16z CSX 로부터 720만 달러를 투자받고 솔라나 SVM 호환 L1 에서 구동되는 앰비언트의 Proof-of-Logits (로짓 증명) 는 합의된 모델에서 추론이 발생했음을 검증합니다. 마이너가 텍스트를 생성하면 검증자가 무작위로 토큰을 샘플링하고, 마이너는 그에 해당하는 로짓을 생성하며, 검증자는 해당 단일 추론 단계를 독립적으로 재실행합니다. 해시가 일치하면 6,000억 개 이상의 파라미터 모델에서 주장된 0.1% 의 오버헤드 내에서 추론이 검증됩니다.

전체 LLM 추론 (초기에는 GPT-2) 을 증명한 최초의 zkML 시스템인 라그랑주 (Lagrange) 의 DeepProve 는 더 나아가, 올바른 모델이 올바른 입력에 대해 올바른 출력을 생성했다는 암호학적 영지식 인증을 제공합니다. 하지만 잘 알려진 한계가 있습니다. 증명 생성 속도가 기본 추론 속도보다 수천 배 더 느리다는 점입니다.

비텐서의 서브넷 밸리데이터 는 서브넷별 인센티브 메커니즘에 따라 마이너의 출력에 점수를 매깁니다. 하지만 밸리데이터 스스로가 자신이 채점하는 결과에 대해 스테이킹 가중치에 따른 경제적 이해관계를 가지고 있습니다. 2026년 4월의 비판은 냉혹합니다. 스테이킹 기준 상위 10개 밸리데이터가 루트 네트워크 투표권의 약 65% 를 장악하고 있으며, 상위 3개가 38% 를 차지하고 있습니다. 서브넷 1의 연구원들은 마이너들이 실제 추론 단계를 완전히 건너뛰면서도 보상을 받기 위해 알려진 밸리데이터 쿼리에 대해 캐시된 응답을 제공한다는 사실을 문서화했습니다.

패턴이 보이시나요? 이러한 모든 시스템은 프로세스 를 검증합니다. 행렬 곱셈이 정확했는지, 추론이 실제로 실행되었는지, 출력을 서명한 모델이 약속된 모델인지 등을 확인합니다. 하지만 그 결과로 나온 모델이나 출력이 제 역할을 잘하는지 는 검증하지 않습니다.

이것이 바로 Judge 가 파고드는 구멍입니다.

Judge 가 실제로 하는 일​

Judge 는 사전에 합의된 결정론적 AI 모델을 실제 데이터에 대해 실행하고, 그 결과를 공개적으로 검증받을 수 있도록 약속합니다. Verde 위에 구축되어 심판 기반 위임 (refereed delegation) 구조를 계승합니다. 즉, 여러 독립적인 검증자 노드가 동일한 평가 작업을 실행하고, 불일치가 발생하면 출력이 갈라진 특정 연산자만 재계산하여 해결합니다.

기술적 기반은 젠신의 재현 가능한 실행 환경 (Reproducible Execution Environment, REE) 입니다. 이는 이기종 장치 간에 비트 단위까지 정확한 재현성을 보장하는 런타임입니다. 이를 위해 젠신은 GPU 에서 기본적으로 비결정론적인 연산 (예: 부동 소수점 리덕션) 에 대해 결합 법칙과 결정론을 강제하는 맞춤형 최적화 CUDA 커널을 구축했습니다. 그 결과, 프랑크푸르트 데이터 센터의 H100 에서 실행하든 누군가의 지하실에 있는 4090 에서 실행하든, 동일한 입력에 대해 동일한 모델은 비트 단위까지 동일한 로짓을 생성합니다.

이것은 사소한 기술적 세부 사항처럼 들릴 수 있지만, 전체 시스템을 가능하게 하는 핵심 프리미티브입니다. 비트 단위의 재현성 덕분에 제3자 검증자가 평가 주장을 재실행하여 정확히 동일한 답변 을 얻음으로써 해당 주장에 이의를 제기할 수 있습니다. 이것이 없다면 결과의 차이가 부정한 행위 때문인지 아니면 부동 소수점 노이즈 때문인지 구별할 수 없습니다.

이 프레임워크는 검증 가능한 판단이 중요하지만 확장하기 어려운 모든 영역으로 자연스럽게 확장됩니다. 평가 벤치마크, 예측 시장 해결, 모델 리더보드, 심지어 AI 매개 분쟁 해결에 이르기까지 말입니다. 이러한 모든 상황에서 Judge 는 "믿어주세요, 비공개 API 에서 모델 점수가 87.3% 라고 나왔습니다" 라는 말을 대체합니다.

"비공개 API 는 불투명하고, 소리 없이 업데이트되며, 재현이 불가능하다"​

젠신의 출시 포스팅에 담긴 이 문구는 마케팅 문구이자 현재 평가 업계에 대한 기소장과도 같습니다.

2026년에 AI 모델을 구매하려는 기업이라면 평가를 위해 선택할 수 있는 옵션은 다음과 같습니다:

  1. 공급업체의 자체 벤치마크를 신뢰한다. OpenAI, Anthropic, Google 은 자체 평가 도구에서 수집한 자체 보고 수치를 발표합니다. 평가 도구는 소리 없이 업데이트될 수 있고, 테스트 세트가 학습 데이터에 유출될 수 있으며, 공급업체는 지표를 최적화할 충분한 유인이 있습니다.

  2. 제3자 벤치마크를 신뢰한다. MMLU, HumanEval, SWE-bench, LMSYS Chatbot Arena 등이 있습니다. 이들은 신뢰성을 갖추고 있지만, 소규모 팀에서 운영하는 비공개 API 인 경우가 많으며 역사적으로 테스트 세트 오염에 취약했습니다. OpenAI 의 o1 모델군이 Codeforces 문제에서 89% 를 기록했을 때, 즉각적으로 제기된 질문은 "그중 얼마나 많은 부분이 실제 일반화 능력이 아닌 학습 데이터 암기에서 비롯되었는가?" 였습니다.

  3. 자체 평가를 실행한다. 비용이 많이 들고 표준화하기 어려우며, 결과를 발표하거나 판매하고 싶을 때 외부에서 재현하는 것이 완전히 불가능합니다.

Judge 는 네 번째 옵션입니다. 누구나 재실행을 통해 도전할 수 있는 공개적이고 결정론적인 평가입니다. 비공개 API 가 공개적인 약속이 되는 것입니다.

특히 탈중앙화 AI 의 경우, 발행자의 자기 이익 문제가 구조적으로 더 심각하기 때문에 이것이 중앙 집중형 AI 보다 더 중요합니다. 비텐서 서브넷의 자체 밸리데이터가 해당 서브넷의 마이너를 채점할 때, 이해 상충은 프로토콜에 내재되어 있습니다. 젠신 Judge 는 설계상 발행자의 자기 이익을 제거합니다. 검증자 노드는 생산자가 아니며, 결과에 경제적 이해관계가 없는 제3자가 어떤 판단에 대해서도 이의를 제기할 수 있기 때문입니다.

DeAI가 그동안 회피해 온 비교 매트릭스​

지난 2년 동안 마케팅이 혼탁하게 만든 각 검증 프리미티브가 실제로 무엇을 증명하는지 명확히 정리해 보겠습니다.

  • Verde / Gensyn (학습): 이 학습 단계가 합의된 모델과 데이터에서 올바른 그래디언트를 계산했음을 증명합니다. 결과 모델이 일반화되는지에 대해서는 아무것도 말해주지 않습니다.
  • Proof-of-Logits / Ambient (추론): 이 추론 호출이 합의된 모델과 프롬프트에서 주장된 로짓을 생성했음을 증명합니다. 모델의 답변이 정확하거나 유용한지에 대해서는 아무것도 말해주지 않습니다.
  • ZKML / Lagrange DeepProve (추론, 영지식): 이 특정 추론이 특정 모델에서 올바르게 실행되었음을 증명하며, 모델이나 입력을 공개하지 않고도 이를 증명할 수 있습니다. Proof-of-Logits와 범위는 같지만 프라이버시가 보장되며 비용은 약 1,000배 더 높습니다.
  • Bittensor subnet scoring (출력 순위 산정): N 개의 마이너 출력 중에서 검증자 V 가 자신의 스테이크에 가중치를 두어 이 순서대로 순위를 매깁니다. 주관적이고 조작 가능하며 이해 상충의 소지가 있습니다.
  • UMA Optimistic Oracle (데이터 진실성): 외부 진실에 대한 인간 중재 클레임으로, 일정 기간 내에 이의 제기가 없으면 확정됩니다. ML 출력 품질이 아닌 금융 데이터를 위해 구축되었습니다.
  • Gensyn Judge (평가): 사전에 약속된 결정론적 평가 절차가 실제 입력 데이터에서 올바르게 실행되었으며, 그 결과는 어떤 도전자든 비트 단위로 재현 가능합니다. 이 목록에서 검증 가능하고 중립적인 방식으로 출력의 품질을 목표로 하는 유일한 항목입니다.

이는 작은 차이가 아닙니다. 계약업체가 업무를 위해 출근했음을 증명하는 것과, 실제로 설계 사양에 맞춰 집을 지었음을 증명하는 것의 차이와 같습니다.

기업 조달 부문이 이것 없이 DeAI를 구매할 수 없는 이유​

기업용 AI 조달 시장은 급격히 성장하고 있습니다. Precedence Research 는 조달 분야의 AI 시장만 해도 2026년 42억 5,000만 달러에서 2035년까지 연평균 성장률(CAGR) 28%로 392억 달러에 달할 것으로 전망합니다. McKinsey 스타일의 기업 연구에 따르면 심각한 AI 조달 이니셔티브의 유스케이스당 지출은 100만 ~ 260만 달러에 달합니다. 현재 이 돈 중 어느 것도 DeAI 로 유입되지 않고 있는데, 그 이유는 대역폭이나 지연 시간 때문이 아닙니다. 바로 품질의 검증 가능성 때문입니다.

포춘 500대 기업의 리스크 관리 책임자는 GPT-5 나 Claude Opus 에 대한 중앙 집중식 API 호출을 승인할 것입니다. 벤더가 법적 책임을 지고 감사 추적(paper trail)을 제공하기 때문입니다. 동일한 책임자가 마이너가 캐시된 응답을 제공할 수 있는 Bittensor 서브넷을 통한 추론 라우팅이나, 유일한 증명이 "그래디언트 단계가 유효했다"는 것뿐인 Gensyn 컬렉티브가 학습시킨 모델 구매를 승인할 수는 없습니다. 결과물인 아티팩트가 목적에 적합한지 확인할 메커니즘이 없기 때문입니다.

Judge 는 중앙 집중식 세계에서는 구조적으로 불가능한 도구, 즉 평가 결과가 단순히 게시되는 것이 아니라 공개적으로 다시 실행 가능한 모델을 조달 부문에 제공함으로써 이 대화를 바꿉니다. 이는 SOC 2 감사보다 강력한 보증입니다. 정기적인 인증이 아니라 지속적으로 허위임을 입증할 수(falsifiable) 있기 때문입니다.

이것은 또한 DeAI 가 "우리가 더 저렴하다"가 아닌 조달 기준으로 경쟁할 수 있게 해주는 계층입니다. 탈중앙화 추론이 AWS Bedrock 보다 30% 저렴하다고 해서 기업 예산이 움직이지는 않습니다. 하지만 어떤 중앙 집중식 제공업체도 흉내 낼 수 없는 암호학적이고 비트 단위로 재현 가능한 품질 증명이 수반되는 탈중앙화 추론은 기업을 움직일 수 있습니다.

재현성 문제는 조용히 가장 어려운 부분으로 남아 있습니다​

GPU 에서 비트 단위 재현성을 확보하는 것이 얼마나 어려운지 과소평가하기 쉽습니다. CUDA 의 표준 부동 소수점 리덕션(reduction)은 비결합적(non-associative)입니다. 즉, 중간 반올림으로 인해 (a + b) + c 와 a + (b + c) 는 서로 다른 결과를 생성하며, 병렬 리덕션에서의 합산 순서는 하드웨어, 드라이버 및 런타임에 따른 스레드 스케줄링에 따라 달라집니다. 동일한 입력으로 동일한 모델을 실행하는 두 개의 H100 은 정기적으로 약간 다른 로짓을 생성합니다.

대부분의 ML 추론 시스템은 출력 어차피 확률적으로 샘플링되기 때문에 이를 신경 쓰지 않습니다. 하지만 검증 가능한 평가에서 이러한 편차는 치명적입니다. 검증자와 증명자가 로짓에서 0.0001 차이로 일치하지 않는다면, 둘 중 하나가 속임수를 썼는지 아니면 단순히 GPU 반올림 방식이 달랐는지 알 수 없습니다.

Gensyn 의 REE 는 처리량을 희생하더라도 결정론적 리덕션 순서를 강제하는 커스텀 CUDA 커널을 작성하여 이를 해결합니다. 이는 어떤 홍보 자료(pitch deck)에도 등장하지 않는 수준의 로우레벨 엔지니어링이지만 실제로는 핵심적인 경쟁 우위(moat)입니다. Ambient 는 무작위로 선택된 토큰 위치에서 로짓 상태를 해싱하여 인접한 문제(합의된 모델에서 추론이 발생했는지 확인)를 해결하며, Verde 와 Judge 는 더 나아가 전체 계산이 엔드 투 엔드로 재현 가능할 것을 요구합니다.

이것이 Judge 가 AI 를 넘어 일반화되는 이유이기도 합니다. 결정론적 모델을 사용하여 스포츠 경기 결과에 대한 예측 시장을 정산하거나, 결정론적 위험 평가를 바탕으로 보험 청구를 해결하는 등 공개적이고 재현 가능하며 이의 제기가 가능한 계산이 필요한 모든 것이 동일한 프리미티브를 활용할 수 있습니다. 평가 벤치마크 유스케이스는 그 시작일 뿐입니다.

Judge 가 (아직) 해결하지 못한 것들​

솔직히 평가하자면, Judge 는 마법의 검증 지팡이가 아닙니다. 해결하지 못하는 세 가지 공개된 문제가 있습니다.

평가 설계 문제. Judge 는 평가가 결정론적이고 재현 가능하게 실행됨을 보장합니다. 하지만 평가가 의미 있는지는 보장하지 않습니다. 만약 학습 데이터에 유출된 것으로 판명된 벤치마크를 사용하기로 약속한다면, Judge 는 충실하게 쓸모없는 숫자를 재현할 뿐입니다. SWE-bench 나 ARC-AGI 와 같은 평가를 어렵게 만드는 근본적인 원인인 벤치마크 설계 문제는 Judge 보다 한 단계 높은 레이어에 존재하며 아직 해결되지 않았습니다.

지연 시간과 비용의 트레이드오프. 참조된 위임(Refereed delegation)은 불일치가 발생할 때만 분쟁 메커니즘이 작동하도록 여러 검증자가 동일한 평가를 기꺼이 실행해야 합니다. 누가 중복 평가 실행 비용을 지불하고 이의 제기 자금을 어떻게 조달할 것인가에 대한 경제학적 문제는 이 시스템이 주요 벤치마크를 넘어 고객별 모델 감사까지 확장될 수 있을지를 결정할 것입니다. Gensyn 프로토콜의 $AI 토큰(2025년 12월 판매에서 3억 개 판매)이 제안된 결제 수단이지만, 실제 평가 경제성은 아직 입증되지 않았습니다.

"모델의 정체" 문제. Judge 는 사전에 합의된 모델의 실행을 검증합니다. 하지만 모델이 어떻게 그 상태가 되었는지를 검증 가능한 방식으로 해결하지는 않습니다. Verde 로 검증된 학습과 Judge 로 검증된 평가를 결합하는 것이 명백한 최종 단계(endgame)이지만, 아직 통합은 프로덕션 수준이 아니며 "학습 증명 + 평가 증명"의 비용 스택은 각각의 비용보다 유의미하게 높습니다.

이들은 실제적인 한계입니다. 하지만 다른 DeAI 검증 프리미티브 역시 해결하지 못하는 한계이기도 합니다. 또한 몇몇 사례(특히 평가 설계)는 단순한 기술적 문제가 아니라 더 넓은 AI 산업 전체가 아직 해결하지 못한 사회적, 경제적 문제입니다.

DeAI 스택에 대한 의미​

시야를 넓혀 보면, 검증 스택이 처음으로 실제 사다리 형태를 갖추기 시작한 것을 볼 수 있습니다:

  1. 컴퓨팅 증명 (TEE, 기초적인 작업 증명) — 이 코드가 이 하드웨어에서 실행되었음.
  2. 프로세스 검증 (Verde, Proof-of-Logits, ZKML) — 이 특정 계산이 이 특정 출력을 생성했음.
  3. 품질 평가 (Judge) — 이 모델이 합의된 벤치마크에 대해 주장된 대로 성능을 발휘하며, 재현 가능함.
  4. 결과 책임성 (여전히 누락됨) — 이 모델의 배포된 동작이 시간이 지나도 계약된 SLA를 충족함.

DeAI는 2년 동안 비용과 탈중앙화라는 서사에 기반해 기업의 수요가 실현되기를 바라며 1단계와 2단계 사다리를 고립된 상태로 구축해 왔습니다. 하지만 수요는 나타나지 않았습니다. Judge는 3단계 사다리에 대한 첫 번째 진지한 시도입니다. 이는 기업 구매자가 모델 선택에 대해 생각하는 방식과 실제로 일치하는 단계입니다.

Gensyn이 이 레이어에서 승리하든, 아니면 12개월 내에 Bittensor, Ambient 등이 이 설계를 복제하든 그것은 핵심이 아닙니다. 탈중앙화 인프라로서 중립적이고 결정론적이며 이의 제기가 가능한 모델 평가라는 카테고리 자체가 이제 정의되었습니다. DeAI 검증 논쟁은 "어떤 증명 시스템이 가장 저렴한가"에서 "우리가 실제로 무엇을 증명하고 있는가"로 옮겨갔습니다.

이는 더 건강한 논쟁이며, 중앙 집중형 AI는 결코 가질 수 없는 논쟁입니다. 폐쇄형 API 제공업체는 이의 제기 가능한 평가를 제공할 수 없습니다. 그들의 모델은 결정론적이지 않고, 제3자 간에 재현 가능하지 않으며, 의미 있는 암호학적 방식으로 약속되지 않기 때문입니다. AWS Bedrock이 구조적으로 구축할 수 없는 반면 DeAI가 구축할 수 있는 것이 바로 Judge가 방금 출시한 것입니다.

향후 12개월은 기업의 조달 부서가 이를 주목할지 여부를 알려줄 것입니다.

검증 가능한 레일(체인 RPC, 인덱싱 또는 모델 증명 쿼리 등)이 필요한 DeAI 인프라를 구축하고 계신가요? BlockEden.xyz는 프로덕션 환경의 Web3 및 AI 통합 애플리케이션을 출시하는 팀을 위해 27개 이상의 체인에서 엔터프라이즈급 인프라를 제공합니다. API 마켓플레이스 탐색하기를 통해 지속 가능하도록 설계된 기반 위에서 개발을 시작하세요.

출처​

Share on Twitter