젬마 4

젬마 4는 구글 딥마인드가 가중치를 공개한 오픈 웨이트 모델로, 내 노트북·휴대폰·서버에 내려받아 인터넷 연결이나 구독료 없이 직접 돌릴 수 있다. 클라우드 API 없이 로컬에서 AI를 쓰고 싶을 때, 내 하드웨어에 맞는 크기를 골라 쓴다.

이미지·긴 문서·도구 사용까지

텍스트와 이미지를 함께 넣을 수 있고, 140개 넘는 언어를 지원한다. 도구 사용과 추론 능력도 갖춰서 단순 챗봇을 넘어 에이전트 작업에도 쓸 수 있다.

Ollama 한 줄이면 바로 실행

가장 쉬운 방법은 터미널에서 ollama run gemma4를 실행하는 것이다. 모델이 내려받아지고 바로 대화할 수 있다. 화면으로 쓰고 싶으면 LM Studio나 Open WebUI를 붙이고, 설치 없이 먼저 맛보려면 Google AI Studio에서 31B·26B를 바로 써 볼 수 있다.

코드에 엮을 때는 Hugging Face Transformers, llama.cpp, MLX(애플 실리콘), vLLM에서 바로 돌아간다. 메모리 24GB 맥북이라면 양자화한 작은 모델을, 서버급 GPU라면 31B를 고르면 된다.

API 비용 0원으로 보조 작업 맡기기

토큰 비용이 들지 않아 반복 자동화에 잘 맞는다. 로컬에 띄운 Gemma 4를 Claude Code의 서브에이전트로 등록해 보조 작업을 맡기면 비용 없이 일을 나눌 수 있다. 개인 문서처럼 밖으로 보내기 싫은 자료도 기기 안에서만 처리할 수 있다.

프론티어급 성능은 기대하지 말 것

같은 크기의 폐쇄형 최상위 모델만큼 똑똑하지는 않다. 로컬에서 돌리려고 양자화로 압축하면 그만큼 품질이 조금 떨어진다. 또 Hugging Face에 올라온 가중치에는 속도를 높여 주는 멀티 토큰 예측(MTP) 부분이 빠져 있어서, 광고된 속도를 내려면 따로 설정해야 할 수 있다.

밖으로 안 보내는 일, 공짜로 반복하는 일에 쓴다

사람들은 주로 내 기기 안에서 끝내야 하는 일이나 API 비용이 부담되는 반복 작업에 Gemma 4를 쓴다. 어려운 판단은 클라우드 최상위 모델에 맡기고, 가볍고 자주 하는 일만 로컬 Gemma 4로 돌리는 식이다.