소형 언어 모델

파라미터가 수억~수십억 개 수준이라 노트북·스마트폰·GPU 한 장에서도 돌아가는 언어 모델이다. 무엇이든 묻는 챗봇보다는 분류·추출·요약처럼 정해진 일을 빠르고 싸게 처리하는 부품으로, 데이터를 밖으로 내보내지 않고 처리할 때 쓴다.

크기를 가르는 정해진 기준은 없고, 실무에서는 10B 안팎까지를 소형으로 부르기도 한다.

작아도 쓸 만해진 이유

예전 작은 모델은 문장을 그럴듯하게 잇는 정도였다. 지금은 잘 걸러낸 데이터로 오래 학습시키고, 큰 모델의 답을 따라 배우게 하는 증류로 크기에 비해 성능이 크게 올랐다. 여기에 가중치를 16비트에서 4비트, 2비트까지 줄이는 양자화가 더해져 메모리 사용량도 크게 줄었다.

Ollama 한 줄이면 내 맥북에서 돈다

가장 쉬운 방법은 Ollama다. ollama run gemma3:4b를 실행하면 4비트로 줄인 모델을 받아 바로 대화할 수 있고, 로컬 HTTP API도 열려서 기존 코드의 API 주소만 바꾸면 된다. 양자화 수준을 직접 고르고 싶으면 llama.cpp의 GGUF 포맷이나 Apple 실리콘용 MLX를 쓴다.

4비트 기준 메모리는 파라미터 10억 개당 약 0.5GB에, 대화가 길수록 커지는 KV 캐시가 더해진다.

iOS 앱에서는 @Generable을 붙인 구조체로 결과를 받는 구조화된 출력과 도구 호출을 쓸 수 있고, 서버 비용 없이 오프라인에서도 돌아간다.

큰 모델과 일을 나눠 맡긴다

큰 모델이 계획과 어려운 판단을 맡고, 작은 모델이 문의 분류·개인정보 마스킹·로그 요약·요청 라우팅 같은 대량 작업을 맡는 구성이 효과적이다. 맡길 작업 하나를 정해 LoRA로 미세조정하면 비용은 크게 줄이면서 그 작업만큼은 큰 모델에 가까운 품질을 얻는 경우가 많다. 데이터가 기기나 사내 서버 밖으로 나가지 않아 의료·금융처럼 민감한 데이터를 다룰 때도 좋다.

지식과 긴 추론은 약하다

담을 수 있는 지식이 적어 모르는 내용을 지어내기 쉽고, 여러 단계를 거치는 추론과 한국어 같은 비영어권 언어에서는 큰 모델보다 품질이 떨어진다. 벤치마크 점수만 믿지 말고 내 작업으로 만든 평가 세트로 직접 시험해 본 뒤 맡길 범위를 정하는 게 안전하다.

기기 안에서, 큰 모델 옆에서 쓴다

가장 흔한 쓰임은 데이터가 밖으로 나가면 안 되거나 같은 일을 대량으로 반복하는 자리다. 어려운 판단은 큰 모델에 남기고, 반복 작업과 오프라인 처리를 작은 모델에 맡긴다.