네모트론

네모트론(Nemotron)은 NVIDIA가 만든 오픈 모델 제품군으로, 가중치뿐 아니라 학습 데이터와 학습 레시피까지 공개되어 있어 배포하기 전에 직접 검증할 수 있다. 폐쇄형 API에 기대지 않고 내 인프라에서 AI 에이전트를 돌리거나 특정 분야에 맞게 파인튜닝하고 싶을 때 쓴다.

학습 데이터와 레시피는 Hugging Face에 공개되어 있다.

익숙한 도구로 어디서든 올린다

실제로 많이 쓰이는 이유는 배포가 쉽기 때문이다. vLLM, SGLang, Ollama, llama.cpp 같은 익숙한 오픈 프레임워크에 그대로 올릴 수 있다.

그래서 같은 모델을 클라우드에서 온프레미스로, 다시 엣지로 옮겨 가며 쓸 수 있다. 가볍게 시험해 보려면 Nano를 로컬에서, 여러 에이전트가 함께 도는 서비스라면 Super를 서버에 올리는 식으로 크기를 고르면 된다.

블랙박스가 아니라 열린 상자

강력한 LLM은 대부분 '블랙박스'다. 쓸 수는 있어도 어떤 데이터로 어떻게 학습했는지는 회사 안에만 있다. Nemotron은 학습 과정까지 공개하므로, 내 서비스에 넣기 전에 무엇을 배운 모델인지 확인할 수 있다.

GPU를 파는 회사가 모델을 무료로 푸는 이유는 단순하다. 자기 GPU에서 돌릴 좋은 오픈 모델이 많아질수록 GPU가 더 팔리기 때문이다. 그래서 Nemotron은 처음부터 'AI 에이전트를 만들기 위한 출발점'을 내세우고, 추론·도구 호출·멀티모달 같은 에이전트 작업에 집중한다.

세대마다 강조점이 달랐다

지금 새로 시작한다면 최신 세대인 Nemotron 3를 기준으로 보면 된다. 구조를 바꿔 100만 토큰 컨텍스트를 지원하면서도 추론 속도와 비용 효율을 끌어올렸다.

로컬 시험부터 사내 에이전트까지

가장 흔한 방식은 데이터를 밖으로 보내기 어려운 곳에서 직접 올려 쓰는 에이전트 모델로 두는 것이다. 먼저 Nano로 가볍게 시험해 보고, 서비스 규모에 맞춰 Super나 Ultra로 올린다.