문드림 3.1
Moondream이 만든 오픈 웨이트 비전-언어 모델로, 이미지를 보고 박스·점·마스크처럼 위치가 담긴 구조화된 답을 돌려준다. 전체 9B 중 2B만 켜지는 MoE 구조라서, 사진 속 물체를 빠르고 싸게 찾거나 세야 할 때 쓴다.
| 스킬 | 돌려주는 것 | 이럴 때 쓴다 |
|---|---|---|
query | 질문에 대한 답 | 사진 속 상황을 물어볼 때 |
caption | 이미지 설명문 | 대체 텍스트, 이미지 색인 |
detect | 물체별 박스 좌표 | "잘못 놓인 상자"처럼 말로 찾기 |
point / segment | 위치 점 / 영역 마스크 | 개수 세기, 윤곽 잘라내기 |
다섯 스킬 모두 모델에 내장돼 있어서 별도 탐지 모델을 붙일 필요가 없다. 답을 문장 대신 좌표나 필드 값으로 받기 때문에 코드에서 바로 쓰기 좋다.
크기는 9B, 속도는 2B급
전체 파라미터는 90억 개지만 토큰마다 20억 개만 쓰는 MoE 구조라서 2B 모델 수준의 속도로 돈다. 텍스트는 32K 토큰, 이미지는 최대 12개 타일로 나눠 읽는다. 큰 범용 모델을 API로 부르는 것과 비교하면 응답 속도 차이가 크다.
바로 답하는 질문 하나 기준 중간값. NVIDIA H100, 배치 1. Moondream이 직접 측정한 수치다.
로컬은 API 키 없이 몇 줄로
pip install moondream 후 md.vl(local=True, model="moondream3.1-9B-A2B")로 부르면 첫 실행 때 Hugging Face에서 가중치를 받아 자체 추론 엔진 Photon으로 돌린다. 기본 모델을 로컬에서 돌릴 때는 API 키가 필요 없다. 서버를 직접 두기 싫으면 무료 사용량이 있는 Moondream Cloud에서 같은 스킬을 API로 부르면 된다. detect 결과는 이미지 크기에 상관없이 0~1 사이 비율 좌표로 나온다.
라이선스와 맞춤 학습은 따로 챙긴다
가중치는 공개돼 있지만 일반 오픈소스 라이선스가 아니라 Moondream License를 따른다. 상업적으로 쓰기 전에 허용 범위를 직접 확인해야 한다. 우리 현장에만 있는 예외 상황은 Lens로 파인튜닝해 맞추는데, 파인튜닝한 모델을 돌릴 때는 API 키가 필요하다.
사람들은 주로 이렇게 쓴다
| 어디서 | 어떻게 쓰나 |
|---|---|
| 제조·물류 검수 | 카메라 사진에 detect로 "잘못 놓인 상자"를 찾아 좌표로 표시 |
| 문서·화면 처리 | 영수증이나 차트에 query로 필요한 값만 묻고, 화면 캡처에서 버튼 위치를 찾기 |
| 엣지 기기 | Photon으로 Jetson 같은 장비에서 직접 돌려 네트워크 없이 바로 판단 |
| 이미지 라이브러리 | caption으로 설명문을 일괄 생성해 검색 색인과 대체 텍스트로 사용 |
