오픈 웨이트

학습된 모델의 가중치 파일을 공개해 누구나 내려받아 내 컴퓨터나 서버에서 직접 실행하고 수정할 수 있게 한 배포 방식이다. 학습 코드나 데이터까지 공개하는 '오픈소스'와 달리 가중치만 푸는 경우가 많고, 데이터를 외부로 보내기 어렵거나 비용과 맞춤화를 직접 관리하고 싶을 때 쓴다.

Meta의 Llama가 이 흐름을 열었고 Mistral, Google Gemma, Alibaba Qwen이 뒤를 이었다.

노트북은 Ollama, 서버는 vLLM

모델은 주로 Hugging Face에서 받는다. 노트북에서 가볍게 써 보려면 Ollama나 llama.cpp가 편하다. 양자화로 크기를 줄인 모델을 적은 메모리로 돌려 준다. 여러 사람이 쓰는 서비스라면 vLLM 같은 서빙 엔진을 GPU 서버에 올린다.

보통 이 순서로 진행한다. 라이선스를 확인하고, 내 장비에 맞는 크기를 고른 뒤, 양자화 버전으로 먼저 시험해 본다. 그래도 부족하면 그때 파인튜닝한다. 작은 모델로 품질을 먼저 보고, 부족할 때 큰 모델로 올리는 게 안전하다.

민감한 데이터는 오픈 웨이트, 최고 성능은 API

오픈 웨이트가 맞는 경우는 이렇다. 데이터를 외부로 보내면 안 될 때, 호출량이 많아 API 요금이 부담될 때, 모델을 내 업무에 맞게 고치고 싶을 때다. 반대로 가장 어려운 문제를 풀어야 하거나 서버를 운영할 사람이 없다면 API가 낫다.

'공짜'도 아니고 '마음대로'도 아니다

API 요금은 없지만 GPU, 전기, 운영 인력 비용이 대신 든다. 사용량이 적으면 오히려 API가 더 싸게 먹힐 수 있다. 모델 업데이트와 장애 대응도 직접 해야 한다.

라이선스도 모델마다 다르다. Apache 2.0처럼 자유로운 것도 있지만, 자체 라이선스로 사용 규모나 용도를 제한하는 모델도 있다. 상업적으로 쓰기 전에는 꼭 읽어 봐야 한다. 유해한 답을 막는 안전장치도 직접 챙겨야 한다.

사내 검색부터 내 노트북 비서까지

가장 흔한 건 데이터가 밖으로 나가면 안 되는 사내 서비스에 올려 쓰는 방식이다. 개인은 노트북에 받아 인터넷 없이 쓰거나, 새 모델을 먼저 시험해 보는 용도로 많이 쓴다.