파인튜닝

사전 학습된 모델을 특정 도메인 데이터로 추가 학습시키는 기법. LoRA 덕분에 GPU 한 장으로도 가능해져서 접근성이 크게 낮아졌다.

모델의 말투와 실력을 바꾼다는 것

범용 LLM은 세상의 거의 모든 걸 조금씩 배웠지만, 특정 회사의 법률 문서 양식이나 의료 용어, 사내 코드 컨벤션처럼 좁고 깊은 영역에서는 어설플 때가 있다. 파인튜닝은 이 모델을 우리 데이터로 한 번 더 학습시켜서, 매번 프롬프트로 설명하지 않아도 원하는 방식으로 답하게 만드는 과정이다. 흔히 오해하는데, 파인튜닝은 새로운 지식을 채워 넣는 것보다 정해진 형식, 말투, 판단 기준을 몸에 익히게 하는 데 훨씬 강하다. 그래서 최신 정보를 계속 알아야 하는 일에는 RAG가, 일관된 형식과 톤을 원하는 일에는 파인튜닝이 어울린다.

어떻게 학습시키나

기본 재료는 질문과 이상적인 답변을 짝지은 예시 묶음이다. 보통 한 줄에 대화 한 쌍씩 담은 JSONL 파일로 만들어 두고, 이걸 모델에게 반복해서 보여주며 답을 흉내 내도록 가중치를 조금씩 조정한다. 예전에는 수십억 개 파라미터를 통째로 다시 학습해야 해서 값비싼 GPU 여러 장이 필요했다. 지금은 LoRA 방식이 판도를 바꿨다. 원래 모델은 얼려 두고, 각 층 옆에 아주 작은 보조 행렬 한 쌍만 새로 붙여서 그것만 학습한다. 전체의 1퍼센트도 안 되는 부분만 건드리는데도 성능은 통짜 학습에 거의 근접한다. 여기에 원본 모델을 4비트로 압축해 메모리를 더 아끼는 QLoRA를 쓰면, 개인이 쓰는 GPU 한 장으로도 큰 모델을 다룰 수 있다. 직접 하려면 Hugging Face의 peft 라이브러리를 쓰고, 데이터 준비가 부담이면 OpenAI나 클라우드의 관리형 파인튜닝에 파일만 올리는 방법도 있다.

먼저 다른 방법부터 시도하라

파인튜닝은 강력하지만 대개 마지막 카드다. 프롬프트를 다듬거나 RAG로 문서를 붙여서 풀리는 문제라면 굳이 학습까지 갈 이유가 없다. 학습 데이터를 모으고 다듬는 손이 많이 가고, 원본 모델이 새 버전으로 올라가면 처음부터 다시 학습해야 하기 때문이다. 또 하나 조심할 건 파괴적 망각이다. 좁은 데이터만 집중해서 먹이면 정작 원래 잘하던 일반 상식이나 추론 능력이 흐려질 수 있다. 그래서 특화 데이터에 일반적인 예시를 적당히 섞고, 학습 뒤에는 기존 실력이 유지되는지 함께 점검해야 한다.