에포트 컨트롤

에포트 컨트롤은 추론 모델이 답하기 전에 보이지 않는 생각을 얼마나 많이 할지 요청마다 정하는 설정이다. 쉬운 요청은 낮게 두어 빠르고 싸게 처리하고, 어려운 문제는 높게 두어 느리고 비싸더라도 더 꼼꼼하고 정확하게 풀 때 쓴다.

API마다 이름과 기본값이 다르다

OpenAI API는 reasoning.effort, Claude API는 effort로 정한다. 받는 값은 모델마다 다르니 해당 API 문서를 확인해야 한다. 기본값이 바뀐 모델도 있어서, 모델만 바꿔 같은 요청을 보내면 에포트가 한 단계 낮게 실행될 수 있다.

OpenAI는 none부터 max까지 단계 중 일부를 모델별로 받는다. pro 모드 안에서도 에포트는 따로 정한다.

medium으로 시작해 내 작업으로 재 본다

먼저 medium으로 시작하고, 단순 반복 요청만 low로 내리면 된다. 다만 긴 에이전트 작업을 low로 돌리면 검색을 건너뛰거나, 일찍 멈추거나, 검증을 빼먹기 쉽다. 예전 모델 설정을 그대로 옮기지 말고 내 평가 세트로 에포트별 결과를 비교해 보는 게 안전하다. 에포트를 높일 때는 생각 토큰이 많이 나오므로 max_tokens를 넉넉히 잡는다.

높인다고 다 좋아지지는 않는다

높은 에포트는 어려운 문제에서만 효과가 있고, 쉬운 문제에서는 비용과 대기 시간만 늘어난다. 그러니 모든 요청을 high로 두면 손해다. 또 에포트는 보이지 않는 생각의 양을 정할 뿐 답변 길이를 정하는 설정이 아니다. 답을 짧게 받고 싶으면 프롬프트에 길이를 직접 적는다.

온도(temperature)와도 다르다. 온도는 단어를 얼마나 무작위로 고를지를 정하고, 에포트는 답하기 전에 얼마나 생각할지를 정한다. 일부 추론 모델은 온도를 무시해서 에포트가 사실상 유일한 조절 장치다.

조합 규칙과 학습 여부를 확인한다

에포트 단계는 모델이 미리 학습해 둔 동작이라, 아무 모델에나 "적게 생각해"라고 써도 같은 효과는 나지 않는다. 조합 규칙도 제공사마다 다르다. 예를 들어 Opus 5에서 xhigh나 max를 쓰면서 thinking을 끄면 400 오류가 난다. 단계 대신 생각 토큰 예산을 직접 받는 곳도 있으니 쓸 때마다 문서를 확인하는 게 안전하다.

같은 모델로 작업마다 에포트를 나눠 쓴다

가장 흔한 건 모델은 하나로 두고 작업 난이도에 따라 에포트만 바꾸는 방식이다. 어려운 단계에만 생각을 많이 시키고 나머지는 낮춰서 속도와 비용을 맞춘다.