데이터 레이블링

학습 데이터에 정답이나 평가를 붙이는 작업으로, SFT용 모범 답 작성이나 RLHF용 선호 비교처럼 LLM을 파인튜닝하거나 정렬할 데이터를 만들 때 쓴다. 레이블 품질이 곧 모델 품질이라서, 잘 만든 데이터 조금이 대충 만든 데이터 많이보다 나은 경우가 많다.

도구보다 지침서가 먼저

'좋은 답'의 기준이 사람마다 다르면 데이터가 서로 엇갈린다. 그래서 판단 기준과 좋은 예·나쁜 예를 담은 지침서를 먼저 만들고, 적은 양으로 시험해 본 뒤 늘린다.

직접 할지 맡길지는 규모로 정한다

사내에서 직접 하려면 Label Studio 같은 오픈소스 도구로 작업 화면을 만들 수 있다. LLM이 만든 응답 후보 여러 개를 평가자에게 보여 주고 순위를 매기게 하면, 작은 팀도 RLHF 선호 데이터를 모을 수 있다. 양이 많거나 전문 인력이 필요하면 Scale AI, Surge AI 같은 레이블링 회사나 크라우드소싱 플랫폼에 맡긴다.

LLM이 초안, 사람이 검토

요즘은 LLM이 초안 답이나 레이블을 먼저 달고 사람이 검토·수정하는 Human-in-the-Loop 방식이 많이 쓰인다. 처음부터 사람이 쓰는 것보다 빠르고, 사람은 애매한 사례에 집중할 수 있다. 다만 검토자가 승인만 누르면 LLM의 실수와 편향이 그대로 남으니, 무작위 샘플은 꼼꼼히 다시 본다.

의견이 갈리면 지침을 의심한다

작업자끼리 판단이 자주 갈리면 작업자 탓보다 지침이 모호하다는 신호인 경우가 많다. 개인정보나 사내 기밀이 든 데이터는 외부에 넘기기 전에 가린다. 레이블 데이터는 한 번 만들고 끝내기보다, 모델이 틀린 사례를 모아 계속 보충할 때 효과가 크다.

파인튜닝 데이터와 평가 세트를 만들 때 쓴다

가장 흔한 건 내 업무에 맞게 모델을 고칠 데이터를 만드는 일이다. 학습용이 아니어도, 정답을 단 질문 모음을 만들어 두면 모델이나 프롬프트를 바꿀 때마다 결과가 나아졌는지 비교할 수 있다.