셀프 컨시스턴시

같은 질문을 여러 번 풀게 한 뒤 가장 많이 나온 답을 고르는 프롬프트 기법으로, 수학·논리 추론이나 분류처럼 정답이 하나로 떨어지는 문제에서 정확도를 높이고 싶을 때 쓴다. 호출 횟수만큼 비용이 더 들지만, 한 번 물어서 나온 답보다 정확도가 크게 오른다.

풀이는 다양하게, 답은 하나로 모은다

핵심은 풀이 과정마다 다른 길을 가게 하는 것이다. 그래서 단계별로 생각하게 하는 프롬프트(Chain of Thought)와 같이 쓰고, temperature를 높여 매번 조금씩 다른 답이 나오게 한다. temperature가 0이면 같은 답만 반복되므로 효과가 없다.

호출은 서로 독립이라 동시에 보내면 기다리는 시간은 거의 늘지 않는다.

답을 비교할 수 있을 때만 통한다

다수결을 하려면 답끼리 같은지 다른지 판단할 수 있어야 한다. 숫자, 선택지, 분류 라벨처럼 짧게 떨어지는 답에 잘 맞는다. 글쓰기나 요약처럼 매번 표현이 달라지는 답은 그냥 셀 수 없으니, 모델에게 여러 답 중 가장 일관된 것을 고르게 하는 유니버설 방식을 쓴다.

비용은 N배, 표가 갈리면 신호다

호출 횟수만큼 비용이 늘어나므로 모든 요청에 쓰지 말고 중요한 판단에만 쓴다. 표가 고르게 갈리면 모델도 확신이 없다는 뜻이니, 그 결과는 사람이 다시 보도록 넘기면 좋다. 모델이 같은 실수를 반복하면 다수결로도 고칠 수 없다는 점도 기억해야 한다.

추론 모델처럼 한 번 호출 안에서 이미 여러 풀이를 검토하는 모델이라면 추가 효과는 줄어든다. 이때는 호출 횟수를 늘리기 전에 추론 강도부터 높여 보는 편이 싸게 먹힌다.

정답이 하나인 중요한 단계에만 얹는다

가장 흔한 건 전체 작업 중 틀리면 곤란한 한 단계에만 여러 번 호출을 붙이는 방식이다. 나머지는 한 번 답하기로 두고, 다수결 결과의 표 차이를 확신도 신호로 함께 쓴다.