구조화된 출력

LLM의 응답이 개발자가 정한 JSON 스키마를 반드시 따르도록 강제하는 기능이다. 영수증에서 금액 뽑기, 문의 분류, 에이전트끼리 결과 넘기기처럼 AI 출력을 사람이 아니라 코드가 바로 받아 처리할 때 쓴다.

틀린 토큰은 아예 못 고르게 한다

스키마를 문법으로 바꿔 두고, 모델이 글자를 하나씩 고를 때마다 형식을 깨는 후보를 지운다. 숫자가 와야 하는 자리에서는 숫자만 고를 수 있으니 실수할 수가 없다. 그래서 문법을 만드는 첫 요청은 조금 느리고, 그 뒤로는 만들어 둔 문법을 다시 쓴다.

API에서 켜는 법

먼저 스키마를 정하고 그 타입으로 결과를 받으면 된다. 파이썬이라면 Invoice 같은 Pydantic 클래스를 SDK에 넘기면 응답이 바로 그 객체로 돌아와서, 파싱하거나 타입을 바꾸는 코드를 따로 짤 필요가 없다. 에이전트를 만든다면 응답 형식과 도구 인자를 둘 다 고정해 두면 된다.

형식이 맞아도 확인할 것

금액 자리에 숫자가 들어가는 건 보장되지만, 그 숫자가 영수증에 적힌 값과 같은지는 따로 확인해야 한다. 형식이 깨지는 경우도 아직 남아 있다.

어려운 판단은 생각한 다음 형식에 담는다

형식을 엄격하게 묶을수록 수학 같은 추론 성능이 떨어진다는 연구가 있다. 복잡한 판단이 필요하면 먼저 자유롭게 생각하게 한 뒤 최종 결과만 스키마로 받는다. 아니면 짧은 근거 필드를 답 필드보다 앞에 둔다.

데이터 뽑기와 에이전트 연결에 가장 많이 쓴다

가장 흔한 쓰임은 문서나 대화에서 정해진 항목을 뽑아 데이터베이스나 다른 코드로 바로 넘기는 일이다. 에이전트를 만들 때는 도구 인자와 단계별 결과를 스키마로 고정해서, 중간에 형식이 깨져 작업이 멈추는 일을 막는다.