오픈소스 LLM

가중치가 공개돼 누구나 내려받아 내 컴퓨터나 회사 서버에서 직접 돌리고 고쳐 쓸 수 있는 언어 모델이다. GPT·Claude처럼 API로만 쓰는 상용 모델과 달리 데이터가 밖으로 나가지 않아, 내부 데이터를 다루거나 모델을 직접 맞춤화하고 싶을 때 쓴다.

Meta의 Llama, DeepSeek, 알리바바의 Qwen, Mistral이 대표적이며, 2023년 Llama 공개 이후 생태계가 빠르게 커졌다.

Ollama 한 줄이면 내 PC에서 돈다

가장 쉬운 방법은 Ollama다. 설치한 뒤 터미널에서 ollama run llama3를 실행하면 모델을 내려받아 바로 대화할 수 있다. 명령어가 낯설다면 LM Studio처럼 화면에서 모델을 검색하고 내려받아 시험해 보는 앱을 쓰면 된다.

두 도구 모두 로컬 서버를 띄워 다른 프로그램이 API처럼 부를 수 있게 해 준다. 그래서 상용 API로 만든 앱을 로컬 모델로 바꿔 시험해 보기도 쉽다.

내부 데이터와 맞춤 모델이 필요할 때 쓴다

핵심 기준은 데이터를 밖으로 보내도 되는지, 그리고 모델을 직접 고쳐야 하는지다. 둘 다 아니라면 상용 API가 더 편하다.

모델 크기는 내 하드웨어에 맞춘다

같은 모델도 크기(파라미터 수)별로 나온다. 클수록 똑똑하지만 GPU 메모리를 많이 쓰므로, 노트북이라면 작은 모델부터 시작하는 게 좋다. 가중치를 압축한 양자화 버전을 쓰면 메모리가 크게 줄어드는 대신 품질이 조금 떨어질 수 있다.

모델마다 강점도 다르다. Llama는 커뮤니티와 파생 모델이 가장 많고, DeepSeek는 추론, Qwen은 다국어와 코딩, Mistral은 가벼운 모델로 많이 쓰인다.

'오픈'의 범위는 라이선스로 확인한다

대부분은 가중치만 공개한 '오픈 웨이트' 모델이라 학습 데이터나 학습 코드까지 공개된 것은 아니다. 라이선스도 제각각이어서 상업적 이용이나 사용 규모에 조건을 거는 모델이 있으니, 서비스에 넣기 전에 라이선스 문서부터 읽어야 한다.

직접 운영하는 만큼 서버 관리, 보안 업데이트, 응답 속도도 내 책임이다. 사용량이 적으면 오히려 상용 API가 더 쌀 수 있다.

내 PC와 사내 서버에서 주로 쓴다

가장 흔한 건 Ollama·LM Studio로 내 PC에서 직접 돌려 보는 방식과, 회사 서버에 올려 사내 문서 검색에 붙이는 방식이다. 둘 다 데이터가 밖으로 나가지 않는다는 점이 가장 큰 이유다.