그래니트

IBM이 기업용으로 만든 오픈소스 AI 모델 패밀리로, 최고 성능보다 기업이 마음 놓고 자체 운영하는 것을 목표로 한다. 상업 이용이 자유로운 라이선스에 크기도 작아서, 기밀 데이터를 외부 API로 보내기 곤란해 회사 서버나 노트북에서 직접 돌려야 할 때 쓴다.

내려받아 로컬에서 띄운다

허깅페이스 ibm-granite에서 가중치를 받아 Ollama나 vLLM으로 띄운다. 모델 크기가 350M부터 30B 정도라 회사 GPU는 물론 노트북에서도 돌릴 수 있다.

예를 들어 사내 코드베이스에 답하는 어시스턴트를 만들 때 코드를 외부에 보낼 수 없다면, Granite를 회사 GPU에 올리고 RAG를 붙이면 된다. 민감한 정보를 다루는 금융·의료·공공 분야에서 특히 쓸모가 크다.

작업별로 골라 조합한다

언어 모델 하나만 있는 게 아니다. 작업에 맞는 모델을 골라 이어 붙이면, "PDF 보고서에서 표를 뽑아 요약"처럼 여러 형태가 섞인 일도 Granite 안에서 처리할 수 있다.

4.0 세대부터 긴 입력에 가볍다

최신 4.0/4.1 세대는 구조를 바꿔 긴 입력을 처리할 때 메모리를 덜 쓰면서도 빠르다. 작은 모델인데도 도구 호출, 지시 따르기 같은 실무 작업에서는 훨씬 큰 모델과 견줄 만하다는 게 강점이다.

최고 성능이 필요하면 다른 모델로

Granite는 가장 똑똑한 모델을 노리지 않는다. 복잡한 추론이나 창의적인 글쓰기에서 최상위 모델만큼을 기대하면 실망할 수 있다. 최고 성능이 필요한 작업은 프론티어 모델에, 안심하고 직접 운영해야 하는 작업은 Granite에 나눠 맡기면 된다.

사내 데이터 곁에 두고 쓴다

가장 흔한 방식은 데이터가 회사 밖으로 나가지 않는 사내 어시스턴트의 기본 모델로 두는 것이다. 작은 모델로 충분한 일은 Granite가 맡고, 정말 어려운 일만 따로 떼어 낸다.