모델 붕괴

모델 붕괴는 AI가 만든 데이터로 다음 AI를 학습시키는 일을 되풀이할 때, 세대가 지날수록 모델이 점점 단조롭고 부정확해지는 현상이다. 합성 데이터로 파인튜닝하거나 AI 글이 섞인 웹 데이터로 학습할 때 주의해야 하며, 사람이 만든 원본 데이터를 버리지 않으면 대부분 막을 수 있다.

복사본을 다시 복사하면 글자가 흐려지는 것과 같다.

드문 것부터 사라진다

모델은 학습 데이터에 자주 나온 패턴을 더 잘 따라 한다. 그래서 모델이 만든 글에는 흔한 표현은 많이, 드문 표현은 적게 들어간다. 이 글로 다시 학습하면 드문 부분이 더 줄고, 작은 오류는 다음 세대로 넘어가며 쌓인다.

초기에는 평균 성능이 멀쩡해 보여 알아차리기 어렵다. 사투리, 전문 용어, 소수 의견처럼 드물게 나오는 내용부터 빠지기 때문이다.

원본 데이터를 버리지 않으면 대부분 막힌다

연구에서 가장 위험한 경우는 매 세대마다 실제 데이터를 합성 데이터로 통째로 바꿀 때였다. 실제 데이터는 그대로 두고 합성 데이터를 덧붙이면 붕괴가 훨씬 덜했다. 합성 데이터 자체보다, 사람이 만든 데이터와 연결이 끊기는 게 문제다.

합성 데이터로 파인튜닝할 때 지킬 것

큰 모델로 예시 데이터를 만들어 작은 모델을 파인튜닝한다면 아래 순서를 지킨다. 핵심은 원본을 남기고, 걸러 내고, 다양성을 확인하는 것이다.

평가할 때는 평균 점수만 보지 말고, 드문 사례를 따로 모은 테스트셋을 확인한다. 붕괴는 거기서 먼저 드러난다. 학습한 모델의 출력을 다시 학습 데이터로 넣는 반복 구조는 특히 조심해야 한다.

과적합·망각과는 다른 문제

AI 출력이 다시 학습에 들어가는 곳에서 점검한다

모델 붕괴는 직접 쓰는 기법이 아니라, 학습 데이터를 만들 때 점검하는 기준으로 쓰인다. AI가 만든 글이 다시 학습 데이터로 흘러드는 곳이면 어디서든 따져 봐야 한다.