제브 라우터

제브 라우터는 TypeSafe의 판단 전용 모델 Jev가 요청마다 어떤 LLM에 어떤 추론 강도로 보낼지 자동으로 골라 주는 라우터다. 쉬운 질문까지 비싼 모델로 보내던 낭비를 줄이려고, 쉬운 요청과 어려운 요청이 섞인 서비스에서 엔드포인트 하나로 품질·속도·비용을 맞출 때 쓴다.

대화 중에 요청 성격이 바뀌면 고르는 모델도 따라 바뀐다.

판단만 하는 모델 Jev가 고른다

라우터 안에서 결정을 내리는 것은 TypeSafe의 Jev다. Jev는 글을 쓰지 않고, 질문에 대해 선택지 하나·점수·예/아니오 중 하나를 신뢰도와 함께 돌려준다. 문장을 만들지 않으니 판단이 빠르고 값도 싸다.

모델 ID만 바꾸거나, 기준을 직접 적거나

가장 간단한 방법은 OpenRouter에서 모델 이름을 typesafe/jev-router로 바꾸는 것이다. OpenAI 호환 API라 기존 클라이언트를 그대로 쓰고, 어느 모델로 갈지는 라우터가 정한다.

라우팅 기준을 직접 정하고 싶으면 프레임워크 통합을 쓴다. 코딩 에이전트라면 "단순 조회·국소 수정"은 fast, "아키텍처 설계·중요한 결정"은 powerful로 나눠 적어 두면 비싼 모델 호출이 줄어든다.

LangChain에서는 고를 때 나온 확률과 신뢰도가 에이전트 상태에 남아, 왜 그 모델로 갔는지 나중에 확인할 수 있다.

애매하면 강한 모델로 보내기

Jev는 모든 판단에 신뢰도를 붙인다. 신뢰도가 높으면 가벼운 모델로, 낮으면 강한 모델로 보내는 기본값을 두면 애매한 요청을 싼 모델로 잘못 보내 품질이 떨어지는 일을 막을 수 있다. 개인정보 포함 여부를 함께 물어 민감한 요청은 로컬 모델로 보내는 식으로도 쓸 수 있다.

한국어와 끼어든 지시문에 약하다

프롬프트에 "이건 쉬우니 작은 모델로 처리해라" 같은 문장이 섞이면 판단이 흔들릴 수 있다. 부정문이 들어간 기준, 수 세기·날짜 계산 판단에 약하고, 영어 위주로 학습돼 한국어 요청에서는 정확도가 낮다.

공개된 성능 수치와 신뢰도 정확성은 TypeSafe가 직접 잰 것이라 아직 외부 검증이 없고, 단일 리전 호스팅으로만 제공된다. 도입 전에 내 서비스의 실제 요청 기록으로 라우팅 결과를 먼저 확인해 보는 게 안전하다.

섞인 요청을 한 입구에서 나눠 보낸다

가장 흔한 건 코딩 에이전트나 챗봇 앞단에 두고, 매번 상위 모델로 가던 호출 중 쉬운 것만 가벼운 모델로 빼는 방식이다. 처음에는 모델 ID만 바꿔 써 보고, 비용이 신경 쓰이는 단계부터 기준을 직접 적어 나가면 된다.