같은 질문을 여러 AI 모델에 동시에 던지고, 각자의 답을 비교·종합해 하나의 더 믿을 만한 답을 만드는 방식. 모델마다 강점이 달라 한 모델이 틀려도 다른 모델이 잡아주기 때문에, 단일 모델보다 답의 신뢰도를 높일 수 있다.
같은 질문을 여러 AI 모델에게 동시에 던지고, 각자의 답을 비교한 뒤 하나로 종합하는 방식이다. 단일 모델은 틀린 답도 맞는 답만큼이나 자신감 있게 내놓기 때문에, 답 하나만 보고는 그게 믿을 만한지 알기 어렵다. 서로 다른 모델 여러 개를 위원회(council)처럼 모아 같은 질문을 맡기면, 어디서 의견이 일치하고 어디서 갈리는지가 드러나 답의 신뢰도를 가늠할 수 있다.
Perplexity의 Model Council은 한 질문을 Claude·GPT·Gemini 같은 프론티어 모델 세 개에 동시에 보내고, 세 답을 나란히 비교해 일치점과 이견을 정리한 뒤 하나의 종합 답을 보여준다. 여러 모델 사이를 직접 오가며 같은 질문을 반복하지 않아도 되는 셈이다.
직접 만들 수도 있다. karpathy의 llm-council은 OpenRouter로 한 질문을 여러 LLM에 보내고, 각 모델이 서로의 답을 읽고 평가·순위를 매긴 다음, '의장(Chairman)' 역할의 모델이 최종 답을 작성한다. Open WebUI 같은 도구로 비슷한 구성을 로컬에서 꾸리는 사례도 늘고 있다.
대부분의 구현은 세 단계를 따른다. 먼저 같은 질문을 여러 모델에 팬아웃(fan-out)해 답을 모으고, 다음으로 각 모델이 다른 모델의 답을 교차 검토하거나 점수를 매기며, 마지막으로 의장 모델이 이 모든 걸 읽고 합의된 최종 답을 작성한다. 이 과정에서 모델 간 일치 정도를 환산한 합의 점수(consensus score)를 함께 보여주는 구현도 많다. 여러 모델이 서로의 결과를 비평하며 답을 다듬는다는 점에서 멀티 에이전트의 크리틱 패턴과 닮았다.
모델을 세 개 돌리면 비용과 응답 시간도 그만큼 늘어난다. 답을 하나로 종합해주지 않으면 사용자가 여러 개의 요약을 일일이 읽어야 하는 부담도 생긴다. 또 여러 모델을 병렬로 돌리는 것 자체는 정확도를 올려주지만, 근본적으로 새로운 지능이 아니라 기존 모델들을 묶는 오케스트레이션이라는 점은 분명히 인지할 필요가 있다.