파라미터

파라미터는 신경망이 학습하면서 스스로 맞춰 가는 가중치와 편향 값이고, 그 개수가 모델의 '크기'를 나타낸다. API에서 생성 설정으로 넘기는 parameters와는 다른 말로, 모델을 직접 내려받아 돌리거나 파인튜닝할 때 필요한 GPU 메모리를 가늠하는 기준으로 쓴다.

처음에는 무작위 값으로 시작하고, 학습 중에 데이터에 맞게 조금씩 조정된다. 모델 이름 뒤의 7B, 70B는 파라미터가 70억 개, 700억 개라는 뜻이다.

헷갈리기 쉬운 세 가지 '파라미터'

같은 단어가 여러 뜻으로 쓰인다. API 문서에서 말하는 parameters는 대부분 호출할 때 넘기는 생성 설정이고, 모델 크기를 말하는 파라미터와는 다르다.

메모리는 '개수 × 정밀도'로 어림한다

파라미터 하나가 차지하는 크기는 정밀도에 따라 다르다. FP16이면 2바이트라서 7B 모델은 가중치만으로 약 14GB가 필요하다. 양자화로 정밀도를 낮추면 같은 모델을 훨씬 작은 GPU에 올릴 수 있지만, 품질이 조금 떨어질 수 있다.

7B 모델의 가중치만 계산한 값이다. 실제로 돌리면 대화 길이에 따라 KV 캐시 같은 추가 메모리가 더 들고, 학습·파인튜닝에는 기울기와 옵티마이저 상태 때문에 몇 배가 더 필요하다.

API는 신경 쓸 필요 없고, 직접 돌릴 때만 따진다

API로 쓸 때는 파라미터 수를 몰라도 된다. 로컬이나 온프레미스에 올릴 때는 먼저 가진 GPU 메모리를 확인하고, 위 계산으로 들어가는 크기와 양자화 수준을 고른 뒤, 실제 작업으로 품질을 시험해 보는 순서로 정한다. 메모리가 부족한데 파인튜닝이 필요하면 일부 파라미터만 새로 학습하는 LoRA 같은 방식을 쓴다.

숫자가 크다고 늘 더 좋은 건 아니다

학습 데이터와 학습 방식에 따라 작은 최신 모델이 큰 옛 모델보다 나은 경우가 많다. MoE 모델은 전체 파라미터와 한 번에 쓰는 활성 파라미터가 다른데, 메모리는 전체, 속도는 활성 파라미터 기준으로 본다. 비공개 모델은 파라미터 수를 밝히지 않는 경우가 많아서, 떠도는 추정치는 참고만 한다.

오픈 모델 고를 때 '내 GPU에 들어가나'부터 본다

사람들이 파라미터 수를 가장 많이 들여다보는 때는 오픈 모델을 내려받아 쓸 때다. 이름의 숫자로 필요한 메모리를 어림하고, 맞지 않으면 양자화 버전이나 한 단계 작은 모델로 내려간다.