합성 데이터
실제로 모은 데이터 대신 AI나 알고리즘으로 새로 만든 데이터로, 실제 데이터의 패턴은 닮게 만들되 원본의 개인정보는 담지 않는다. 데이터가 모자랄 때, 개인정보 때문에 원본을 쓰기 어려울 때, 드문 사례를 늘려야 할 때 실제 데이터를 보태는 학습 데이터로 쓴다.
| 항목 | 실제 데이터 | 합성 데이터 |
|---|---|---|
| 구하는 방법 | 직접 모으고 라벨을 붙임 | 생성 모델이나 시뮬레이션으로 만듦 |
| 양 늘리기 | 느리고 비쌈 | 빠르고 쉬움 |
| 개인정보 | 섞여 있을 수 있음 | 원본 정보 없음 |
| 현실 반영 | 있는 그대로 | 만든 도구의 수준만큼 |
만드는 방식은 크게 네 가지
LLM 학습에서 가장 흔한 방식은 강한 모델에게 문제, 풀이, 대화를 쓰게 하는 것이다. Microsoft의 Phi 시리즈는 웹에서 긁어 온 데이터 대신 교과서처럼 정리된 합성 데이터로 학습해서, 작은 모델로도 높은 성능을 냈다.
| 방식 | 하는 일 | 주로 쓰는 곳 |
|---|---|---|
| LLM 생성 | 강한 모델이 예제와 문제를 많이 써 냄 | 지시 따르기, 코딩·수학 학습 |
| 증류(Distillation) | 강한 모델의 답과 추론 과정을 작은 모델이 따라 배움 | 작고 싼 모델 만들기 |
| AI 피드백(RLAIF) | 답변 두 개를 다른 AI가 비교해 더 나은 쪽을 고름 | RLHF에서 사람 평가를 대신함 |
| 통계·시뮬레이션 | 원본 분포를 흉내 내거나 가상 환경에서 만듦 | 의료·금융 표 데이터, 자율주행 영상 |
직접 만들 때는 예시 → 생성 → 걸러내기 순서로
먼저 실제 사례 수십 개를 출발점이 될 예시로 모은다. 강한 모델에게 이 예시를 보여 주고 주제, 난이도, 말투를 바꾼 새 사례를 만들게 한다. 프롬프트에 조건을 여러 가지로 바꿔 넣어야 비슷한 문장만 쏟아지는 일을 막을 수 있다.
만든 뒤에는 중복을 지우고, 틀린 답은 코드 실행, 정답 비교, 다른 모델 채점으로 걸러 낸다. 마지막 평가는 꼭 실제 데이터로 만든 테스트셋으로 해야 현실에서도 통하는지 알 수 있다.
언제 쓰고 언제 피할까
| 상황 | 판단 |
|---|---|
| 실제 데이터가 적거나 라벨 붙이는 비용이 큼 | 쓴다 |
| 환자·고객 정보처럼 GDPR 같은 규정이 걸림 | 쓴다 |
| 사고·사기처럼 드문 사례를 늘려야 함 | 쓴다 |
| 최신 사실이나 현실 그대로의 분포가 중요함 | 실제 데이터 먼저 |
| 모델 성능을 최종 평가함 | 실제 데이터로 |
실제 데이터와 섞어 써야 붕괴를 피한다
AI가 만든 데이터로 AI를 학습시키고, 그 AI가 다시 데이터를 만드는 일이 되풀이되면 데이터의 다양성이 점점 사라진다. 이것을 모델 붕괴(Model Collapse)라고 한다. 2024년 Nature에 실린 연구가 이 문제를 구체적으로 보여 줘 주목받았다. 합성 데이터는 실제 데이터를 대신하기보다 보태는 용도로 섞어 쓰는 게 안전하다.
데이터를 만든 모델의 실수와 편향도 그대로 따라온다. 또 일부 AI 서비스는 약관에서 출력물로 경쟁 모델을 학습시키는 것을 막으므로, 데이터를 만들 모델의 약관을 먼저 확인한다.
주로 모델 미세조정용 예제를 늘리는 데 쓴다
가장 흔한 쓰임은 LLM 미세조정에 쓸 예제를 늘리는 것이다. 실제 사례 몇십 개로 시작해 강한 모델로 수천 개까지 불리고, 걸러 낸 뒤 학습에 섞는다.
| 어디서 | 어떻게 쓰나 |
|---|---|
| LLM 미세조정 | 사내 말투나 특정 업무에 맞춘 질문·답변 쌍을 강한 모델로 만들어 학습시킴 |
| 작은 모델 만들기 | 큰 모델의 답과 풀이 과정을 모아 작고 싼 모델이 따라 배우게 함 |
| 개인정보가 걸린 분석·개발 | 환자·고객 표 데이터와 분포만 닮은 가짜 데이터로 분석, 개발, 테스트를 함 |
| 자율주행·로봇 | 현실에서 모으기 힘든 사고나 악천후 장면을 시뮬레이션으로 만들어 학습시킴 |
