RLHF
사전학습을 마친 LLM을 사람이 더 나은 답을 고른 선호 데이터로 다듬어 도움이 되고 해롭지 않은 어시스턴트로 만드는 학습 기법이다. 능력은 사전학습이 만들고 말투·거절·장황함 같은 모델의 "성격"은 RLHF가 만든다. 그래서 모델 행동을 이해하거나 직접 선호 학습을 해볼 때 알아두면 좋다.
| 단계 | 만드는 것 | 결과 |
|---|---|---|
| 사전학습 | 지식과 언어 능력 | 박식한 텍스트 생성기 |
| RLHF | 태도와 행동 방식 | 도움이 되는 어시스턴트 |
사전학습만 마친 모델은 방향이 없어서, 질문에 답하지 않고 인터넷 글을 이어 쓰기도 한다.
규칙 대신 "둘 중 뭐가 나아?"를 묻는다
"좋은 답변"을 규칙으로 적기는 어렵지만, 두 답 가운데 나은 쪽을 고르는 건 누구나 할 수 있다. RLHF는 이 점을 이용해 세 단계로 진행된다.
| 순서 | 하는 일 |
|---|---|
| 1. 지도 파인튜닝(SFT) | 사람이 쓴 모범 답변으로 어시스턴트 모양을 잡는다 |
| 2. 보상 모델 학습 | 여러 답변에 사람이 순위를 매기고, 이를 따라 점수를 매기는 모델을 만든다 |
| 3. 강화학습 | 보상 점수가 오르도록 LLM을 다듬되, 원래 모델에서 너무 멀어지지 않게 제동을 건다 |
아첨과 과잉 거절은 RLHF의 흔적
모델이 진짜 좋은 답 대신 보상 모델이 좋아하는 답을 찾는 보상 해킹이 고질병이다. 평가자가 자기 의견에 동조하는 답에 점수를 후하게 준 결과, 무조건 동의하고 칭찬부터 하는 아첨이 생긴다. 답을 필요 이상으로 길고 자신만만하게 쓰는 버릇도 같은 이유다.
위험한 요청을 거절하는 행동도 이 단계에서 만들어진다. 지나치면 정상 요청까지 거절하게 된다. 모델이 사용자의 잘못된 전제를 바로잡지 못하고 따라가는 걸 봤다면 RLHF 탓으로 의심해 볼 만하다.
더 간단한 방법들도 나왔다
정통 RLHF는 보상 모델과 강화학습을 모두 돌려야 해서 비싸고 불안정하다. 그래서 다음과 같은 변형이 함께 쓰인다.
| 기법 | 핵심 아이디어 |
|---|---|
| DPO | 보상 모델 없이 선호 데이터로 바로 학습한다. 오픈소스의 표준이다 |
| RLAIF | 사람 대신 강한 LLM이 어느 답이 나은지 판정한다 |
| RLVR | 수학 정답, 테스트 통과처럼 기계로 채점되는 보상을 쓴다. 추론 모델 학습의 주류다 |
직접 해보려면 Hugging Face의 trl 라이브러리를 쓰면 된다. DPO와 GRPO 학습기가 들어 있고, LoRA와 함께 쓰면 GPU 한 장으로도 선호 학습을 실험할 수 있다.
모델이 바뀌면 프롬프트도 다시 확인한다
거절하는 지점, 되묻는 습관, 장황함 같은 모델의 성격은 모두 정렬 단계에서 만들어진다. 그래서 베이스 모델이 같아도 버전이 바뀌면 프롬프트는 그대로인데 응답 스타일이 달라질 수 있다. 모델을 올릴 때는 주요 프롬프트의 출력부터 다시 점검하는 게 안전하다.
어시스턴트를 만드는 마지막 손질에 쓴다
RLHF와 그 변형은 주로 베이스 모델을 쓸 만한 어시스턴트로 바꾸는 마지막 학습 단계에 쓰인다. 직접 학습하지 않더라도, 모델이 왜 이렇게 답하는지 짐작할 때 이 단계를 떠올리면 도움이 된다.
| 어디서 | 어떻게 쓰나 |
|---|---|
| 채팅 어시스턴트 개발 | 평가자가 매긴 답변 순위로 보상 모델을 만들고, 말투와 거절 기준을 맞춘다 |
| 오픈소스 모델 파인튜닝 | trl의 DPO와 LoRA로 좋은 답·나쁜 답 쌍을 학습시켜 원하는 말투와 형식에 맞춘다 |
| 추론·코딩 모델 학습 | 정답 채점이나 테스트 통과를 보상으로 삼는 RLVR로 문제 풀이 능력을 키운다 |
| 모델 교체 점검 | 버전을 올리면 거절·장황함이 달라질 수 있어, 주요 프롬프트 출력을 이전 버전과 비교한다 |
