미스트랄

프랑스 회사 Mistral AI가 만드는 LLM 시리즈로, 가중치를 공개한 오픈 웨이트 모델이 많아 내 서버나 노트북에서 직접 돌릴 수 있다. 크기에 비해 성능이 좋아서 비용을 아끼거나 모델을 직접 서버에 올려 써야 할 때 자주 고른다.

2023년에 나온 Mistral 7B가 같은 크기의 Llama 2를 앞서면서 이름이 알려졌다.

쓰는 방법은 세 가지

가장 쉬운 방법은 채팅 서비스 Le Chat이다. 가입하고 바로 대화하면 된다. 앱에 붙이려면 Mistral API에서 키를 발급받고 mistral-large-latest, codestral-latest 같은 모델 ID로 호출한다.

직접 돌리려면 Hugging Face에서 오픈 웨이트를 받아 vLLM으로 서빙한다. 개인 PC라면 Ollama에서 ollama run mistral 한 줄로 바로 실행할 수 있다.

작은 모델로 되는 일부터 맡긴다

미스트랄의 강점은 작은 모델이 싸고 성능이 좋다는 점이다. 문서 분류, 정보 추출, 짧은 요약 같은 단순 대량 작업은 작은 모델로 먼저 돌려 보고, 품질이 모자란 단계만 Large로 올리면 비용이 줄어든다.

Mixtral은 여러 전문가 중 일부만 골라 쓰는 MoE 구조다. 전체 파라미터는 크지만 답할 때는 일부만 계산하므로 비슷한 크기의 일반 모델보다 빠르다. 다만 가중치 전체를 메모리에 올려야 해서 필요한 GPU 메모리는 줄지 않는다.

EU 회사라는 점도 선택 이유

유럽 회사라서 유럽 데이터 규정을 중요하게 보는 프로젝트에서 후보로 자주 오른다. 오픈 웨이트를 자체 서버에 올리면 데이터를 외부 API로 보낼 필요도 없다.

라이선스는 모델마다 확인한다

미스트랄 모델이라고 모두 상업적으로 자유롭게 쓸 수 있는 건 아니다. Mistral 7B나 Mixtral처럼 Apache 2.0으로 공개된 모델도 있지만, 일부는 연구용 라이선스로 나오거나 API로만 제공된다. 쓰기 전에 모델 카드에서 라이선스를 꼭 확인한다. 한국어 품질은 작업마다 차이가 있으니 실제로 맡길 작업으로 직접 시험해 보는 게 가장 확실하다.

직접 올려 쓰는 자리에서 주로 고른다

가장 흔한 건 데이터를 밖으로 내보내기 어려운 곳에서 오픈 웨이트를 직접 서빙하는 방식이다. 가볍게 써 보려면 개인 PC에서 Ollama로 돌려 보는 경우도 많다.