인스트럭션 튜닝

사전학습된 모델에 (지시문, 답변) 쌍을 추가로 학습시켜 사람의 지시를 따르게 만드는 과정이다. 글을 이어 쓰기만 하던 베이스 모델을 질문에 답하는 대화형 어시스턴트로 바꾸거나, 정해진 업무 형식에 맞출 때 쓴다.

베이스 모델에 "수도는 어디야?"라고 물으면 답하지 않고 "수도는 국가의 중심지로..."처럼 글을 이어 쓴다. ChatGPT가 대화하듯 답하는 것도 이 단계 덕분이다.

사전학습과 선호도 학습 사이 단계

요즘 대화형 모델은 대개 세 단계를 거친다. 인스트럭션 튜닝은 정답 예시를 그대로 따라 하게 하는 지도 학습(SFT)이라 가운데 단계에 놓인다. 그다음 사람이 더 좋아하는 답을 고르게 하는 RLHF 같은 학습이 이어지는 경우가 많다.

직접 할 때의 순서

먼저 지시·입력·답변 형식으로 데이터를 모은다. Alpaca, Dolly 같은 공개 데이터셋으로 시작하고 자기 도메인 예시를 더하면 된다. 그다음 베이스 모델이나 이미 튜닝된 Instruct 모델을 골라 SFT를 돌린다.

GPU가 넉넉하지 않다면 LoRA처럼 일부 파라미터만 학습하는 방식이 흔하다. Instruct 모델에 덧붙여 학습한다면 원래 쓰던 채팅 템플릿을 그대로 맞춰야 답변 형식이 깨지지 않는다.

프롬프트로 안 되면 그때 한다

양보다 데이터 품질이 먼저다

이 학습은 새 지식을 넣기보다 답하는 방식을 가르친다. 틀리거나 들쭉날쭉한 예시가 섞이면 그 버릇까지 그대로 배운다. 좁은 데이터로 오래 학습시키면 원래 잘하던 일반 능력이 떨어질 수도 있다.

공개 데이터셋은 라이선스를 꼭 확인한다. 예를 들어 Alpaca는 비상업 용도로 제한되고, Dolly는 상업적으로 쓸 수 있다.

대부분은 고르고, 필요할 때만 직접 한다

가장 흔한 건 직접 학습하지 않고 이미 튜닝된 Instruct 모델을 골라 쓰는 것이다. 직접 튜닝은 프롬프트만으로는 형식이나 말투가 자꾸 흔들릴 때, 작은 공개 모델을 특정 업무에 맞출 때 주로 한다.