제브

제브(Jev)는 TypeSafe AI가 만든 판단 전용 AI 모델로, 글을 쓰지 않고 정해진 선택지·점수·참/거짓 확률만 숫자로 돌려준다. 분류·라우팅·평가처럼 코드 안에서 빠르고 싸게 수없이 내려야 하는 판단에 쓰며, 문장을 만드는 일반 LLM과 달리 답을 따로 파싱할 필요가 없다.

TypeSafe는 이런 모델을 'System One 모델'이라고 부른다. 대니얼 카너먼이 말한 빠르고 직관적인 사고(System 1)에서 따온 이름이다.

질문은 세 가지 형태로 던진다

판단할 대상은 'state'에 담는다. 문자열, 문자열 배열, 이름-값 쌍 모두 된다. 여기에 질문을 하나 이상 붙여 API로 보내면 질문마다 답이 온다. 한 요청에 여러 질문을 묶을 수 있어서, 고객 문의 하나를 두고 분류와 심각도와 환불 요청 여부를 한꺼번에 물을 수 있다.

선택지는 최대 255개까지 된다. 선택지가 많으면 두 단계로 처리해서 가끔 느려진다.

에이전트의 '결정' 단계를 맡긴다

에이전트는 보통 데이터를 가져오고, 결정하고, 실행한다. 제브는 이 중 결정만 맡는다. 다음에 어떤 도구를 부를지, 이 결과를 사람에게 넘길지 같은 판단을 매번 채팅 LLM에 묻지 않고 제브로 처리하면 된다. 정규식으로 답을 파싱할 필요도 없다. 신뢰도가 낮게 나온 건만 큰 모델이나 사람에게 넘기는 식으로 기준을 둘 수 있다.

속도·비용 수치는 회사 발표 기준이다

TypeSafe는 기존 LLM보다 100배 정도 빠르고 효율적이라고 발표했다. LangChain은 분류 작업에서 최대 200배 빠르고 400배 싸다는 회사 수치를 인용했다. 정해진 조건에서 잰 값이니 내 작업으로 직접 재 보는 게 맞다. 지금은 얼리 액세스 단계이고 입력은 텍스트만 받는다.

약한 부분도 분명하다

질문을 말 그대로 해석하는 경향이 있어서 부정문이나 이중 부정이 섞이면 엉뚱한 답이 나올 수 있다. 숫자 세기, 산술, 날짜 계산, 여러 단계 논리에도 약하다. 주로 영어로 학습해서 한국어 질문은 정확도가 떨어진다. 질문은 짧은 영어 긍정문으로 쓰는 게 안전하다.

문의 분류와 에이전트 분기에 주로 쓴다

가장 흔한 쓰임은 많이, 자주 내려야 하는 작은 판단을 채팅 LLM 대신 맡기는 것이다. 신뢰도가 낮은 건만 큰 모델이나 사람에게 넘기면 비용과 정확도를 같이 챙길 수 있다.