과적합

모델이 훈련 데이터를 이해하지 않고 외워서 처음 보는 데이터에서 성능이 떨어지는 현상으로, 너무 단순해서 훈련 데이터조차 못 맞히는 과소적합과는 반대다. 모델을 학습하거나 파인튜닝할 때 검증 성능으로 꼭 확인해야 하는 문제다.

기출문제만 외운 학생이 문제가 조금만 바뀌어도 틀리는 것과 같다. 훈련 데이터의 노이즈와 특이한 패턴까지 배워서 훈련 성능만 높아진다.

검증 손실이 오르면 멈출 때다

과적합은 훈련 데이터 성능만 봐서는 알 수 없다. 그래서 데이터를 처음부터 세 묶음으로 나누고, 모델이 학습 중에 보지 않은 데이터로 성능을 따로 잰다.

학습 그래프에서 훈련 손실은 계속 줄어드는데 검증 손실이 어느 순간부터 늘어나면 과적합이 시작된 것이다. 두 선이 벌어지기 시작하는 지점이 학습을 멈출 때다.

줄이는 방법은 상황에 맞게 고른다

보통 조기 종료를 기본으로 두고 나머지를 더한다. 너무 세게 막으면 오히려 과소적합이 되니, 검증 성능을 보면서 강도를 조절한다.

파인튜닝은 데이터가 적어 더 위험하다

LLM을 파인튜닝할 때는 준비한 데이터가 적은 경우가 많아 과적합이 쉽게 생긴다. 같은 데이터를 여러 번 반복(에폭)할수록 위험이 커지므로, 반복 횟수와 학습률을 낮게 시작하고 검증 손실을 보면서 늘린다. 과적합된 모델은 훈련 예시 문장을 그대로 따라 하거나, 학습 데이터와 조금만 다른 질문에도 엉뚱하게 답한다.

테스트 데이터가 훈련 데이터에 섞이는 데이터 누수도 조심한다. 점수는 높게 나오지만 실제로는 외운 것이어서 과적합을 알아차리지 못하게 된다.

모델을 학습시킬 때마다 점검한다

과적합은 따로 쓰는 기법이 아니라 모델을 만들거나 고칠 때마다 확인하는 점검 항목이다. 학습 그래프의 검증 손실과, 처음 보는 예시에 모델이 어떻게 답하는지를 함께 본다.