모델 증류

큰 모델(Teacher)의 답과 풀이 방식을 작은 모델(Student)에게 가르쳐, 싸고 빠르면서 특정 작업은 비슷하게 잘하는 작은 모델을 새로 만드는 기법이다. 같은 유형의 요청을 대량으로 처리하는데 큰 모델의 비용이나 속도가 부담될 때 쓰며, 기존 모델을 내 데이터에 맞추는 파인튜닝이나 숫자 정밀도만 낮추는 양자화와 달리 더 작은 새 모델이 결과로 나온다.

정답이 아니라 '선생의 답'을 배운다

Hinton 등이 2015년 논문에서 정리한 원래 방식은 Student가 Teacher의 확률 분포를 따라 하게 하는 것이다. '정답은 A'만 배우지 않고 'A일 가능성이 높고 B도 조금 그럴듯하다'는 감각까지 배우기 때문에, 작은 모델도 더 잘 일반화한다.

LLM에서는 더 단순하게 쓴다. 큰 모델로 질문-답변 데이터를 만들고, 그 데이터로 작은 모델을 파인튜닝한다. 그래서 실무에서는 증류와 파인튜닝이 한 흐름으로 묶인다. DeepSeek은 이 방식으로 R1의 추론 과정을 여러 크기의 작은 모델에 옮겼고, 단계별 추론 능력도 증류로 전달할 수 있다는 것을 보여 줬다.

작업을 좁히고, 생성하고, 비교한다

이 과정을 처음부터 직접 만들 필요는 없다. OpenAI API는 큰 모델의 응답을 저장해 두었다가 작은 모델의 파인튜닝 데이터로 바로 쓰는 기능을 제공하고, Amazon Bedrock에도 큰 모델에서 작은 모델로 증류하는 기능이 있다. 오픈 모델을 쓴다면 Hugging Face 생태계의 도구로 같은 흐름을 직접 돌리면 된다.

좁은 반복 작업용이지, 만능 축소판은 아니다

Student가 Teacher에 가까운 것은 배운 범위 안에서뿐이다. 범위 밖 질문을 받으면 작은 모델 본래 실력으로 돌아가므로, 넓은 용도로 쓸 생각이라면 맞지 않는다.

약관과 데이터 품질부터 확인한다

대부분의 AI 회사는 이용약관에서 자사 모델의 출력으로 경쟁 모델을 학습시키는 것을 금지한다. 다른 회사 API로 데이터를 만들어 증류하려면 약관부터 확인해야 한다. 2025년 DeepSeek이 OpenAI 모델의 출력을 증류에 썼다는 논란이 나온 뒤로, 이런 무단 증류는 증류 공격이라 불리며 보안 이슈로 다뤄진다. 다만 기술적으로 완전히 막기는 어렵다.

Teacher의 실수와 편향도 그대로 옮겨진다. 생성한 데이터를 검수하지 않으면 틀린 답을 자신 있게 말하는 작은 모델이 나온다.

대량 반복 작업을 작은 모델로 넘길 때 쓴다

가장 흔한 건 큰 모델로 먼저 돌려 보고, 잘 되는 작업만 작은 모델로 옮기는 방식이다. 큰 모델의 좋은 답을 모아 학습 데이터로 쓰고, 이후 같은 유형의 요청은 증류한 작은 모델이 싸고 빠르게 처리한다.