라마파일

LLM 모델 가중치와 실행 엔진(llama.cpp)을 파일 하나로 묶은 Mozilla의 오픈소스 도구로, Python 환경이나 의존성 설치 없이 파일만 받아 실행하면 내 컴퓨터에서 AI를 돌릴 수 있다. 로컬 LLM을 처음 써 보거나 인터넷 없는 곳에 모델을 들고 가야 할 때 쓴다.

받고, 권한 주고, 실행하면 끝

Hugging Face 등에서 원하는 모델의 llamafile을 받는다. macOS·Linux는 터미널에서 chmod +x로 실행 권한을 준 뒤 실행하고, Windows는 파일 이름 끝에 .exe를 붙여 실행한다.

실행하면 내 컴퓨터에 작은 웹 서버가 뜨고 브라우저에서 바로 채팅할 수 있다. GPU가 있으면 가속도 쓸 수 있다. 처음에는 작은 모델로 내 PC에서 속도가 괜찮은지 먼저 확인하는 게 좋다.

한 파일이 여러 OS에서 도는 비결

핵심은 Cosmopolitan Libc다. 이 기술로 만든 Actually Portable Executable(APE) 형식 덕분에 같은 파일 하나가 macOS, Windows, Linux와 여러 BSD 계열에서 그대로 실행된다. 운영체제별로 다른 파일을 고를 필요가 없어서, 팀원이나 고객에게 파일 하나만 건네면 된다.

OpenAI API 코드를 로컬 모델로 바꾸기

llamafile을 서버로 띄우면 OpenAI와 같은 형식의 API가 열린다. 기존 코드에서 API 주소만 로컬 주소로 바꾸면 그대로 로컬 모델을 쓴다.

파일이 크고, Windows는 제한이 있다

모델이 통째로 들어 있어 파일이 수 GB에 이른다. Windows는 4GB가 넘는 실행 파일을 돌리지 못해서, 큰 모델은 엔진과 모델 파일(GGUF)을 따로 받아 -m 옵션으로 모델을 지정해야 한다.

모델을 자주 바꿔 쓰는 개발 환경이라면 모델을 따로 관리하는 Ollama가 더 편하다. 또 속도와 쓸 수 있는 모델 크기는 결국 내 PC의 메모리와 GPU에 달려 있다는 점을 기억해야 한다.

파일 하나로 써 보고, 건네고, 연결한다

가장 흔한 건 로컬 LLM을 처음 써 보는 용도다. 설치 과정이 없어 받자마자 브라우저에서 채팅해 볼 수 있고, 같은 파일을 다른 사람에게 그대로 넘기거나 서버로 띄워 다른 프로그램에 연결한다.