지속 학습

새 데이터와 과제를 차례로 배우면서도 예전에 배운 것을 잊지 않게 하는 학습 방식으로, 모델을 여러 번 이어서 파인튜닝하거나 쓸수록 나아지는 AI를 만들려 할 때 부딪히는 문제다. 신경망은 새로 배우면 예전 패턴을 덮어쓰는 파국적 망각이 생기기 때문에, 지금의 LLM은 학습이 끝나면 가중치를 고정한 채 배포된다.

배포된 모델이 아는 것은 학습 때 본 지식과 지금 대화에 들어 있는 내용뿐이다. 새 지식을 넣으려면 위 세 방식 중 하나를 고르게 된다.

계속 파인튜닝하면 예전 실력이 떨어진다

사내 문서를 학습시킨 뒤 다음 분기 문서, 이어서 상담 말투까지 차례로 학습시키면 마지막 과제는 잘한다. 대신 원래 잘하던 일반 추론이나 코딩 실력이 눈에 띄게 떨어지는 경우가 흔하다. 모델이 지금 보는 데이터에만 맞춰지기 때문이다.

파인튜닝할 때 망각을 줄이는 요령

실무에서는 아래 방법을 함께 쓴다. 과제마다 LoRA 어댑터를 따로 만들어 두고 요청에 맞춰 갈아 끼우면 과제끼리 서로 방해하는 일 자체가 줄어든다.

기억을 붙이는 것과 배우는 것은 다르다

"쓸수록 똑똑해지는 AI"라고 홍보하는 제품 중 상당수는 가중치를 바꾸지 않는다. 대화를 외부 메모리에 적어 두었다가 다시 꺼내 쓰거나, CLAUDE.md 같은 파일에 규칙을 쌓아 두는 방식이다. 실용적이지만 검색이 빗나가면 소용없고, 기억이 쌓일수록 컨텍스트 비용이 커진다.

실시간으로 배우는 모델은 아직 연구 중

구글의 네스티드 러닝처럼 빠르게 바뀌는 기억과 천천히 굳는 기억을 나누는 연구가 나오고 있지만 아직 실험 단계다. 대화하면서 가중치를 바로 고치면 잘못된 정보나 악의적인 데이터까지 배울 수 있다. 그래서 무엇을 배우게 할지 통제하는 방법도 함께 풀어야 한다.

실무에서는 망각을 피해 가는 방식으로 쓴다

실시간으로 가중치를 고치는 진짜 지속 학습은 아직 쓰기 어렵다. 그래서 사람들은 주로 바뀌는 사실은 바깥에 두고, 꼭 필요한 능력만 망각을 줄이며 파인튜닝하는 식으로 이 문제를 다룬다.