데이터 플라이휠

데이터 플라이휠은 서비스를 쓰면서 쌓인 데이터로 모델을 고치고, 나아진 서비스가 다시 더 많은 데이터를 모으는 선순환 구조다. 사용자 반응을 모을 수 있는 AI 서비스라면 처음 설계할 때부터 이 구조를 넣어 두는 것이 좋다.

플라이휠은 한 번 돌기 시작하면 관성으로 계속 도는 무거운 바퀴를 말한다.

좋은 신호는 사용자 행동에 숨어 있다

좋아요·싫어요 버튼만 데이터가 되는 것은 아니다. 답을 다시 생성하거나 직접 고쳐 쓰는 행동이 더 솔직한 신호다. 이런 로그는 나중에 추가하기 어려우니 서비스를 설계할 때 함께 저장해 둔다.

로그 → 선별 → 개선 → 평가 순서로 돌린다

실제로는 이 순서를 주기적으로 반복한다. 챗봇이 잘못 답한 사례를 모아 유형별로 나누고, 품질이 좋은 것만 골라 학습 데이터로 만든다. 그다음 프롬프트를 고치거나 파인튜닝하고, 고정된 평가셋으로 이전 버전보다 나은지 확인한 뒤에만 배포한다.

NVIDIA는 같은 원리를 비용을 줄이는 데 쓰는 방식을 소개한다. 실제 서비스 로그로 더 작고 싼 모델을 학습시키고 평가해서, 품질이 유지되면 그 모델로 바꾸는 것이다. 플라이휠은 품질을 올릴 때뿐 아니라 비용을 줄일 때도 쓸 수 있다.

데이터가 많다고 저절로 돌지는 않는다

사용자가 적거나 피드백이 거의 없으면 바퀴를 돌릴 만큼 데이터가 쌓이지 않는다. 이럴 때는 범용 모델과 프롬프트 개선만으로 충분하다. 사용자 데이터를 학습에 쓰려면 약관과 동의, 개인정보 제거가 먼저다.

피드백은 한쪽으로 치우치기도 한다. 불만 있는 사용자만 버튼을 누르거나, 정확한 답보다 듣기 좋은 답이 좋아요를 받을 수 있다. 사람이 일부를 직접 검토하고, 평가셋을 따로 두어 정말 나아졌는지 확인해야 한다.

한 번 하는 파인튜닝과 다르다

먼저 바퀴를 돌린 서비스는 데이터가 계속 쌓이므로, 나중에 들어온 경쟁자가 같은 품질을 내기 어렵다. 그래서 데이터 플라이휠은 AI 서비스의 진입 장벽으로 자주 꼽힌다.

사용자 반응이 쌓이는 서비스에서 주로 돌린다

가장 흔한 방식은 사용자가 고치거나 다시 생성한 답을 모아 프롬프트와 모델을 다듬는 것이다. 고친 버전은 평가셋으로 이전보다 나은지 확인한 뒤에만 내보낸다.