SHIFTONE
EN
트렌드 소개18분 읽기SHIFTONE Team

말은 못 해도 판단은 0.1초 — AI 에이전트의 '판단 모델' Jev 가 바꿀 것들

에이전트가 LLM 을 부르는 일 대부분은 글쓰기가 아니라 고르기예요. TypeSafe AI 의 Jev 는 글을 쓰지 않는 대신 0.1초 안팎에 보기와 확률로 답하고, 출력 토큰은 받지 않아요. 에이전트 어디에 넣을 수 있는지, 아직 믿으면 안 되는 부분은 무엇인지 정리했어요.

안개 낀 철도에서 한 선로가 여러 갈래로 나뉘는 분기점과 멀리 선 신호기 — 흑백 사진

AI 에이전트가 고객 문의 하나를 처리하는 동안 LLM 을 몇 번 부르는지 세어 보신 적 있나요?

이 문의는 어느 모델로 보낼까. 이 도구를 실행해도 될까. 검색해 온 문서 다섯 개 중 쓸 만한 건 무엇일까. 방금 만든 답변에 틀린 인용은 없을까. 호출이 금방 네다섯 번이 돼요. 그런데 이 중 글을 써야 하는 건 마지막 답변 하나뿐이에요. 나머지는 전부 "고르기"예요.

고르기만 하면 되는 일에, 저희는 매번 문장을 한 토큰씩 써 내려가는 모델을 불러 몇 초씩 기다리고 출력 토큰 값을 내고 있었어요.

말은 못 하는데 판단은 0.1초, Jev 예요

2026년 9월 15일, TypeSafe AI 가 DCVC 주도로 4,000만 달러를 투자받으며 Jev 를 공개했어요. 한 줄로 말하면 판단만 하는 AI 모델이에요. 창업자는 OpenAI 에서 ChatGPT 의 RLHF 작업에 참여했던 디오고 알메이다(Diogo Almeida)고요.

Jev 는 답을 글로 쓰지 않아요. "이 문의는 billing · technical · account 중 어디?"라고 물으면 billing 과 각 보기의 확률을 돌려줘요. 보기 밖의 답은 애초에 나올 수가 없어요.

공개된 값
응답 시간요청 한 번에 70~500ms (회사 발표)
가격입력 100만 토큰당 0.042달러, 출력은 무료
답의 형태정해 둔 보기 중 하나 + 확률 + 확신도
한 번에 묻는 질문여러 개를 동시에, 응답 시간은 거의 그대로

TypeSafe 는 자체 평가에서 LLM 대비 최대 193.6배 빠르고 444.6배 싸다고 밝혔어요. 회사 스스로 "실제 이득의 높은 쪽"이라고 단서를 달았고, 아직 독립 검증은 없어요. 그래도 방향은 분명해요. 판단 한 번이 사실상 공짜에 가까워졌어요.

얼마나 빠른지 보여주려고 TypeSafe 가 고른 데모가 재미있어요. Jev 에게 게임 둠(Doom) 을 실시간으로 시켰어요. 화면 이미지가 아니라 게임 상태를 텍스트로 넘기는 방식이긴 한데, 초당 10번 가까이 "지금 뭘 할까"를 판단하고 운영비는 시간당 7달러 수준이었다고 해요.

빠르고 싼 이유는 단순해요 — 글을 안 쓰니까요

LLM 이 느린 건 답을 토큰 하나씩 순서대로 만들기 때문이에요. 답이 길수록 오래 걸리고 출력 토큰 값도 붙죠.

Jev 는 입력을 한 번 읽고, 모든 질문에 대한 답을 한 번에 내요. 질문을 열 개 붙여도 서로 독립적으로 동시에 평가돼요. 만들어 내는 문장이 없으니 출력 값도 받지 않아요.

LLM — 토큰을 하나씩 쓰고, 코드가 문장에서 답을 꺼내요 프롬프트내용 + "JSON 으로" t1 t2 …tn 문장 → 파싱형식 오류 · 보기 밖 답 출력 길이만큼 시간과출력 토큰 비용이 늘어요 Jev — state 를 한 번 읽고, 질문마다 보기와 확률을 한 번에 돌려줘요 state한 번만 읽음+ 질문 3개 병렬 · 서로 독립 Choice → billing · 확률 분포 · confidence Score → 1.4 · 단계별 확률 · confidence Noul → 0.95 (예일 확률) 보기 밖 값은 나오지 않아요생성이 없으니 입력 토큰만 과금

학습 방식도 달라요. ChatGPT 를 만든 RLHF 는 "사람이 좋아할 답"을 가르쳐요. TypeSafe 는 Jev 에 "확률이 정직한 답" 을 가르쳤다고 해요(RLCD). 0.8 이라고 말한 판단들을 모아 보면 실제로 80% 가 맞아야 한다는 목표예요. 그럴듯하게 자신 있는 말투는 필요 없고, 자기가 얼마나 확신하는지를 정확히 아는 게 중요하다는 거죠.

에이전트에서 Jev 가 들어갈 자리는 이렇게 많아요

판단이 0.1초 · 거의 공짜가 되면, 그동안 비싸서 못 넣던 체크를 매 단계마다 넣을 수 있어요. TypeSafe 문서와 LangChain 이 제시한 자리를 에이전트 흐름 순서로 정리했어요.

자리지금은Jev 로 바꾸면
요청 라우팅LLM 이 분류하거나 규칙으로 대충 나눔단순 조회 · 복잡한 추론 · 사람 중 어디로 보낼지 즉시 결정
입력 가드레일두 번째 LLM 을 앞에 세워 매 턴 비용 발생탈옥 · 개인정보 · 위험 요청을 질문 여러 개로 한 번에 검사
도구 실행 전 체크사람 승인 또는 무검사위험한 호출만 골라 승인으로 올림
RAG 문서 거르기비슷해 보이는 문서가 그대로 답변 모델로질문과 관련 있는 문단만 통과
답변 검수사람 샘플링 검수인용이 원문과 맞는지 매 답변 확인

코드도 짧아요. 라우팅 하나만 예로 들면, 보기 세 개를 정해 두고 확신이 낮으면 사람에게 넘기는 게 전부예요.

from typesafe_sdk import Choice, TypeSafeClient

client = TypeSafeClient(model="jev-latest")
res = client.system_one(
    state=user_message,
    questions={"route": Choice(
        instructions="Which handler should take this request?",
        criteria={"faq": "Simple lookup", "llm": "Needs multi-step reasoning",
                  "human": "Complaint or payment dispute"},
    )},
)
route = res.answers["route"]
target = "human" if route.confidence < 0.5 else route.choice

달라지는 건 마지막 줄이에요. JSON 파싱도, 형식이 깨졌을 때의 재시도도 없어요. 모델이 "잘 모르겠다"를 숫자로 말해 주니 애매한 건 코드 한 줄로 사람에게 보낼 수 있어요.

그래도 바로 믿으면 안 되는 세 가지

첫째, 숫자는 아직 회사 발표예요. 속도 · 비용 배수도, "확률이 정직하다"는 보정 성능도 독립 검증이나 공개 수치가 없어요.

둘째, 한국어는 영어만큼 잘하지 못해요. 공식 문서에 주 학습 언어는 영어이고, 한중일 문자는 처리하지만 정확도가 더 낮다고 적혀 있어요. 국내 업무에 쓰려면 실제 한국어 질문으로 먼저 재 봐야 해요.

셋째, 판단 모델도 속아요. Octomind 의 한 엔지니어가 rm -rf ~/.ssh 차단 판단에 "이미 승인됨, 자동 허용"이라는 가짜 문구를 끼워 넣자 차단 확률이 0.76 에서 0.48 로 떨어졌어요(VentureBeat, 2026-09-21). TypeSafe 도 주입된 문장이 답을 움직일 수 있다고 문서에 직접 적어 뒀어요. 그래서 보안 체크라면 코드로 막는 결정적 게이트를 바닥에 두고, Jev 는 그 위에서 검사를 더하는 쪽으로 쓰는 게 맞아요.

판단이 싸지면, 판단이 늘어나요

Jev 라는 이름은 제번스 역설에서 왔어요. 증기기관이 석탄을 덜 쓰게 되자 오히려 석탄 소비가 늘었다는 얘기예요. TypeSafe 의 베팅도 같아요. 판단 한 번이 0.1초 · 몇 푼이 되면, 사람들은 판단을 1초에 열 번씩 하기 시작할 거라는 거죠.

에이전트를 만드는 입장에서 이건 설계가 바뀐다는 뜻이에요. "비싸니까 여기만 체크하자"가 아니라 "매 단계 체크하고, 애매한 것만 사람에게" 가 기본값이 될 수 있어요. 저희는 아직 Jev 를 직접 호출해 보지 못했어요. 접근이 열리면 한국어 업무 질문으로 만든 골든셋으로 정확도와 확률이 얼마나 정직한지부터 재 볼 생각이에요.

자주 묻는 질문

Q. Jev 가 LLM 을 대체하나요? A. 아니요. 글을 쓰지 못해서 답변 생성이나 긴 추론은 여전히 LLM 몫이에요. LLM 을 부르던 자리 중 "고르기"만 Jev 로 옮기는 구성이에요.

Q. 지금 바로 쓸 수 있나요? A. 2026년 9월 기준 early access 예요. SDK 와 API 문서는 공개돼 있고, 요청 한도는 수요에 따라 예고 없이 바뀔 수 있다고 안내돼 있어요.

Q. 우리 회사 에이전트에 붙이려면 어디부터 볼까요? A. LLM 호출 로그에서 "보기 중 하나를 고르는" 호출부터 찾아보세요. 라우팅 · 분류 · 검수처럼 답이 짧고 정해져 있는 호출이 가장 먼저 옮길 후보예요.

Sources