추론 모델

답을 내기 전에 사고 토큰을 길게 만들며 문제를 나누고 검산하도록 학습된 LLM이다. 일반 모델보다 느리고 비싸서 버그 추적, 수학 풀이, 여러 단계짜리 계획처럼 한 번에 답하기 어려운 일에만 쓴다.

생각하는 동안 막히면 다른 풀이로 돌아가기도 한다. 연습장에 풀이를 끝까지 써 본 뒤 답안지에 옮겨 적는 것과 같다.

생각하는 습관은 학습으로 익힌다

"단계별로 생각해 봐"라고 시키는 프롬프팅과 겉보기는 비슷하다. 차이는 추론 모델은 이 습관을 학습으로 이미 익혔다는 점이다. 채점이 쉬운 수학·코딩 문제를 풀게 하고 맞히면 보상을 주는 방식으로 학습시키면, 모델이 스스로 생각을 길게 늘리고 틀린 풀이를 고치게 된다. 큰 모델의 풀이로 작은 모델을 학습시킨 덕분에 노트북에서 돌아가는 소형 추론 모델도 있다.

API에서는 생각의 양을 조절한다

개발자가 실제로 정하는 건 "얼마나 생각하게 할지"다. Claude API의 최신 모델은 thinking: {type: "adaptive"}로 두면 생각할지, 얼마나 생각할지를 모델이 알아서 정한다. 깊이는 effort를 low부터 max까지 골라 조절한다. OpenAI API에서는 reasoning.effort가 같은 역할을 한다.

에이전트로 쓸 때는 도구를 호출하는 사이사이에도 생각하게 하면(인터리브드 사고) 좋다. 테스트 실패 로그 같은 결과를 받을 때마다 다음 행동을 다시 따져 보기 때문에 엉뚱한 방향으로 계속 가는 일이 줄어든다.

사고 토큰도 돈이 들고 한도를 차지한다

사고 내용은 원문이 보이지 않는 경우가 많다. 그래도 출력 토큰으로 요금이 붙고 출력 한도도 차지한다. 그래서 max_tokens를 넉넉히 잡지 않으면 생각만 하다가 답을 다 쓰지 못하고 잘릴 수 있다. 대화 중간에 effort를 바꾸면 프롬프트 캐시가 깨질 수 있으니, 긴 세션에서는 수준을 하나로 정해 두고 쓰는 게 좋다.

오래 생각한다고 늘 좋은 건 아니다

쉬운 질문에 너무 오래 생각하게 하면 답이 장황해지거나 오히려 틀린 결론을 낼 수 있다. 이를 과잉 사고라고 한다. 프롬프트도 풀이 단계를 하나하나 지시하기보다 목표, 제약, 완료 조건, 결과 형식만 분명히 주고 푸는 방법은 모델에게 맡기는 게 낫다. effort는 내 작업으로 직접 시험해 보고, 품질이 유지되는 가장 낮은 단계로 정하면 된다.

막히는 단계에만 생각을 늘려 쓴다

가장 흔한 방식은 코딩 에이전트와 채팅의 생각 모드다. 평소에는 낮은 effort로 빠르게 쓰다가 어려운 단계에서만 생각을 늘려 비용과 품질을 맞춘다.