창발적 능력

작은 모델에서는 거의 0점이던 능력이 모델이 어떤 크기를 넘는 순간 갑자기 나타나는 것처럼 보이는 현상이다. 작은 모델이 못 하는 여러 단계 추론이나 코드 생성 같은 작업이 더 큰 모델에서는 풀릴지 판단할 때 근거로 쓴다.

2022년 Google의 Wei 등이 정리한 개념으로, 여러 단계를 거치는 수학 문제, 코드 생성, 번역 같은 작업에서 관찰됐다.

계단은 채점 방식 때문일 수도 있다

2023년에는 이 현상이 착시일 수 있다는 반론이 나왔다. 정답이 완전히 맞아야만 점수를 주는 채점에서는 모델이 거의 맞혀도 0점이라, 실력이 조금씩 늘어도 그래프는 계단처럼 보인다는 것이다. 부분 점수를 주는 지표로 다시 재면 점진적으로 좋아지는 모습이 보인다고 한다. 지금도 학계에서 의견이 갈리는 주제다.

작은 모델에선 안 통하는 기법도 있다

단계별로 생각하게 하는 사고 사슬(Chain-of-Thought) 프롬프트는 창발의 대표적인 예로 꼽힌다. 큰 모델에서는 정확도를 높이지만, 작은 모델에서는 효과가 없거나 오히려 엉뚱한 풀이를 늘어놓기도 한다. 큰 모델에서 잘 되던 프롬프트를 작은 모델로 옮길 때는 꼭 다시 시험해야 한다.

크기만이 답은 아니다

어떤 능력이 나타나는 지점은 모델 크기만이 아니라 학습 데이터의 양과 질, 학습 방식에도 달려 있다. 그래서 같은 크기라도 더 잘 학습된 작은 모델이 예전의 큰 모델보다 나은 경우가 흔하다. '몇 크기부터 된다'는 정해진 선은 없으니, 내 작업으로 직접 비교해 보는 게 가장 확실하다.

모델 크기를 고를 때 이렇게 쓴다

작은 모델로 복잡한 추론이나 여러 단계 작업을 시켜 봤는데 거의 안 된다면, 프롬프트만 고치기보다 같은 작업을 더 큰 모델에 한 번 돌려 보는 게 빠르다. 큰 모델에서 갑자기 풀린다면 크기가 원인이었던 것이다. 반대로 분류·추출처럼 단순한 작업은 작은 모델에서도 잘 되니 굳이 키울 필요가 없다.

평가할 때는 맞음/틀림만 세지 말고 답이 얼마나 가까웠는지도 같이 본다. 작은 모델이 0점이어도 조금씩 나아지고 있다면 미세조정이나 프롬프트 개선으로 끌어올릴 여지가 있다.