온디바이스 AI

AI 모델을 클라우드 서버가 아니라 스마트폰·노트북 안에서 직접 실행하는 방식으로, 인터넷 없이도 돌아가고 데이터가 기기 밖으로 나가지 않는다. 개인 정보를 다루거나 바로바로 반응해야 하는 기능에 쓰고, 큰 모델이 필요한 어려운 작업은 클라우드가 맡는다.

작은 모델이 폰에 들어가게 됐다

예전에는 언어 모델이 너무 커서 서버에서만 돌릴 수 있었다. 숫자 정밀도를 낮춰 모델 용량을 줄이는 양자화와 처음부터 작게 만든 소형 언어 모델(SLM)이 발전했다. 덕분에 이제 스마트폰에서도 7B 이하 모델을 쓸 만한 속도로 돌릴 수 있다.

대표적인 예가 iPhone의 Apple Intelligence와 Pixel에서 기기 안에서 돌아가는 Gemini Nano다. 이런 기능은 따로 설정하지 않아도 알림 요약이나 글 다듬기 같은 형태로 이미 쓰이고 있다.

노트북은 Ollama, 앱은 전용 도구

개인 사용자에게는 Ollama가 가장 쉽다. 맥북에 설치하고 터미널에서 ollama run llama3.2처럼 모델 이름을 입력하면 모델을 내려받아 바로 대화할 수 있다. API 비용 없이 Llama나 Gemma를 쓸 수 있어서, 외부 서비스에 붙여 넣기 꺼려지는 회사 문서를 요약할 때 좋다.

앱 개발자는 플랫폼에 맞는 도구로 경량 모델을 앱에 넣는다. 그러면 오프라인에서도 텍스트 요약, 번역, 이미지 분류가 작동한다.

쉬운 일은 기기에서, 어려운 일은 클라우드에서

의료·금융처럼 데이터가 기기를 떠나면 안 되는 환경, 비행기 안이나 현장처럼 네트워크가 불안한 곳, 키보드 자동완성처럼 즉시 반응해야 하는 기능에는 온디바이스가 맞다. 반대로 긴 문서 분석, 복잡한 코딩, 최신 정보가 필요한 질문은 큰 클라우드 모델이 훨씬 낫다.

그래서 실제 서비스는 둘을 섞는 경우가 많다. 간단한 요청은 기기에서 처리하고 어려운 요청만 클라우드로 보내는 방식이다.

메모리와 배터리가 한계다

모델이 기기 메모리에 올라가야 하므로 RAM이 부족하면 아예 돌아가지 않거나 아주 느려진다. 오래 쓰면 배터리가 빨리 닳고 기기가 뜨거워질 수 있다. 작은 모델은 사실을 틀리게 말하는 경우도 더 많으니 중요한 답은 꼭 확인한다.

폰 기본 기능부터 로컬 문서 요약까지

가장 흔한 건 스마트폰에 이미 들어 있는 AI 기능을 그대로 쓰는 경우다. 직접 고르는 사람은 주로 PC에서 로컬 모델을 띄워, 밖으로 보내기 싫은 자료를 다룰 때 쓴다.