올라마

Ollama는 오픈 웨이트 LLM을 내 컴퓨터에서 명령 한 줄로 내려받아 실행하는 도구로, 원래 복잡했던 모델 다운로드·양자화·서빙 설정을 알아서 처리한다. API 비용 없이 실험하거나 민감한 데이터를 외부로 보내면 안 될 때 쓴다.

설치 후 run 한 줄이면 끝

설치하면 백그라운드에서 로컬 서버가 뜬다. 터미널에서 ollama run gemma3처럼 모델 이름을 주면, 처음엔 자동으로 내려받은 뒤 바로 대화가 시작된다. 쓸 수 있는 모델은 공식 라이브러리 페이지에서 찾는다.

기존 코드는 주소만 바꾸면 된다

Ollama는 http://localhost:11434에서 API를 연다. OpenAI 호환 API도 있어서, OpenAI SDK를 쓰는 코드라면 base_url을 http://localhost:11434/v1로 바꾸고 모델 이름만 로컬 모델로 넣으면 된다. 개발 중엔 로컬 모델로 비용 없이 반복 테스트하고, 배포할 때 클라우드 API로 되돌리는 식으로 쓸 수 있다.

시스템 프롬프트나 온도 같은 설정을 고정하려면 Modelfile을 만든다. FROM에 기반 모델, SYSTEM에 지시문을 적고 ollama create로 나만의 모델 이름을 붙이면 된다.

메모리가 돌릴 수 있는 모델 크기를 정한다

llama.cpp 기반이라 CPU와 GPU 모두에서 돌고, Apple Silicon 맥에서 특히 잘 동작한다. 다만 모델이 GPU 메모리(맥은 통합 메모리)에 다 들어가야 속도가 난다. 넘치면 일부가 CPU에서 돌아 크게 느려지므로, 메모리가 적은 노트북이면 작은 모델부터 시작한다.

이럴 땐 다른 선택이 낫다

로컬 모델은 보통 양자화된 버전이라 원본보다 품질이 조금 낮고, 최신 상용 모델보다 어려운 추론에 약하다. 여러 사람이 동시에 쓰는 서비스용 서버라면 처리량에 맞춘 vLLM 같은 서빙 엔진이 낫다. Ollama는 개인 실험, 민감 데이터 처리, 오프라인 환경에 가장 잘 맞는다.

내 PC의 로컬 AI 엔진으로 붙여 쓴다

가장 흔한 방식은 Ollama를 뒤에서 도는 로컬 모델 서버로 켜 두고, 채팅 화면이나 코딩 도구, 직접 짠 스크립트가 localhost API로 이 서버를 부르게 하는 것이다. 데이터가 내 컴퓨터 밖으로 나가지 않아서 회사 문서나 개인 메모를 다룰 때 많이 쓴다.