파인튜닝

이미 학습된 모델을 내 데이터로 한 번 더 학습시켜 매번 길게 설명하지 않아도 원하는 형식·말투·판단 기준대로 답하게 만드는 방법이다. 최신 정보는 RAG에 맡기고, 프롬프트나 RAG로도 일관된 톤과 도메인 감각이 안 잡힐 때 마지막 카드로 쓴다.

파인튜닝은 마지막 카드

데이터를 모으고 다듬는 데 손이 많이 들고, 원본 모델이 새 버전으로 바뀌면 다시 학습해야 한다. 그래서 아래 순서대로 시도해 보고, 마지막 단계에서도 부족할 때 쓴다.

작은 오픈 모델을 파인튜닝해 대형 모델 API를 대신하면 속도와 비용을 줄이고 데이터도 직접 쥘 수 있다. 실제로 파인튜닝을 고르는 가장 흔한 이유다.

LoRA 덕분에 GPU 한 장이면 된다

재료는 질문과 이상적인 답을 짝지은 예시를 한 줄씩 담은 JSONL 파일이다. 모델이 이 답을 흉내 내도록 학습시키는 단계를 지도 파인튜닝(SFT)이라 부른다. 예전엔 모델 전체를 다시 학습해야 해서 GPU가 여러 장 필요했지만, 지금은 원본은 그대로 두고 작은 부품만 학습하는 방식이 표준이 됐다.

직접 돌리려면 Hugging Face의 peft나 Unsloth를 쓰고, 인프라 관리가 부담이면 OpenAI 등의 관리형 파인튜닝에 JSONL 파일만 올리면 된다.

더 다듬고 싶으면 DPO를 얹는다

SFT는 정답을 따라 하게 할 뿐, 좋은 답과 아쉬운 답의 미묘한 차이까지는 가르치기 어렵다. 이럴 땐 SFT 뒤에 같은 질문의 두 답 중 어느 쪽이 나은지 표시한 데이터로 DPO를 돌린다. 파인튜닝과 거의 같은 코드로 돌릴 수 있어 개인 프로젝트에서도 쓰기 쉽다. 수학·코드처럼 정답을 자동 채점할 수 있다면 채점 결과로 강화학습(RLVR)까지 갈 수 있다.

원래 실력이 흐려지지 않게 점검한다

좁은 데이터만 집중해서 학습시키면 원래 잘하던 상식이나 추론 능력이 흐려질 수 있다(파괴적 망각). 특화 데이터에 일반 예시를 섞고, 학습 뒤엔 평가 세트로 기존 실력을 함께 확인한다.

성능이 이유 없이 떨어졌다면 먼저 채팅 템플릿을 본다. 학습 때와 실제 서비스할 때 역할 표기나 특수 토큰이 다르면 파인튜닝이 실패한 것처럼 보인다.

작은 모델을 내 일 전용으로 만든다

가장 흔한 방식은 반복되는 좁은 작업을 작은 모델에 학습시켜 대형 모델 API 대신 쓰는 것이다. 매번 긴 프롬프트로 규칙을 설명하던 일을 학습된 모델이 알아서 따르게 된다.