라마

Meta가 가중치를 누구나 내려받을 수 있게 공개한 오픈 웨이트 LLM 시리즈로, API 전용 모델과 달리 내 PC·회사 서버·폐쇄망에서 데이터를 밖으로 보내지 않고 돌리거나 내 분야에 맞게 파인튜닝하고 싶을 때 쓴다.

그래서 오픈소스 쪽에서 하는 파인튜닝·양자화·모델 병합 실험은 대부분 Llama에서 시작한다.

상황에 맞는 도구로 띄운다

내 PC에서 써 보려면 Ollama가 가장 쉽다. ollama run llama3 한 줄이면 모델을 받아 바로 대화할 수 있다. 이때 받는 파일은 GGUF 형식인데, 양자화로 정밀도를 조금 낮추는 대신 크기를 크게 줄여서 평범한 게이밍 PC에서도 돌아간다.

vLLM으로 띄우면 OpenAI용으로 짠 코드를 주소만 바꿔 그대로 쓸 수 있다. LoRA·QLoRA는 모델 전체가 아니라 작은 보조 층만 학습시키는 방식이라 GPU 한 장으로도 분야 특화 모델을 만들 수 있다.

버전마다 달라진 점

Llama 4는 질문마다 관련 있는 일부 '전문가'만 골라 쓰는 MoE 구조다. Scout와 Maverick이 공개됐고, 가장 큰 Behemoth는 예고만 됐을 뿐 아직 오픈 웨이트로 풀리지 않았다.

순위표 점수보다 직접 돌려 본다

오픈 웨이트라고 해서 성능이 가장 좋다는 뜻은 아니다. Llama 4가 순위표(LMArena)에 올린 것은 사람 평가자가 좋아하도록 대화체로 다듬은 실험 버전이었고, 누구나 받을 수 있는 공개 가중치는 그만큼 점수가 나오지 않았다. 모델을 고를 때는 순위표 숫자보다 내 작업에 직접 돌려 본 결과를 믿는 편이 안전하다.

데이터를 밖에 못 낼 때 바탕 모델로 쓴다

가장 흔한 쓰임은 외부 API로 데이터를 보낼 수 없는 곳에서 직접 띄우는 기본 모델이다. 작은 모델은 개인 PC에서, 큰 모델은 사내 GPU 서버에서 돌리고, 필요하면 파인튜닝으로 말투와 지식을 맞춘다.