Command A는 Cohere가 2025년 3월 내놓은 기업 업무용 언어 모델로, 사내 문서 검색(RAG)·사내 도구 호출·다국어 작업을 GPU 두 장만으로 자체 서버나 클라우드에서 처리할 때 쓴다. 높은 점수를 겨루는 것보다 회사 안에서 안정적으로 일을 해내는 것이 목표다.
| 항목 | 내용 |
|---|---|
| 잘하는 일 | RAG, 도구 호출, 다국어 작업 |
| 컨텍스트 길이 | 25만 6천 토큰 |
| 필요한 GPU | A100·H100 두 장 |
| 잘 맞지 않는 일 | 일상 대화, 창의적 글쓰기 |
가장 큰 장점은 적은 자원으로 돌아간다는 점이다. 1110억 파라미터 모델인데도 GPU 두 장이면 구동되고, 이전 모델 Command R+보다 처리량이 1.5배 높다. 이 정도 성능이면 보통 GPU가 훨씬 많이 필요하다.
그래서 데이터를 밖으로 내보내기 어려운 회사라면 모델을 자체 서버에 직접 올려 쓰기 쉽다. 같은 일을 더 싸고 빠르게 처리하는 데 초점을 맞춘 모델이다.
추론 처리량 비교. Command R+를 1로 둔 값이다.
| 방법 | 부르는 이름 | 이럴 때 |
|---|---|---|
| Cohere API | command-a-03-2025 | 가장 빠르게 시작할 때 |
| AWS Bedrock·Oracle OCI | 각 클라우드에서 바로 호출 | 이미 쓰는 클라우드가 있을 때 |
| Hugging Face 가중치 | CohereLabs/c4ai-command-a-03-2025 | vLLM·Transformers로 자체 운영할 때 |
사내 위키나 계약서를 벡터 DB에 넣고 RAG를 꾸리면 "이 조항이 어느 문서에 있나" 같은 질문에 답하게 할 수 있다. 사내 API를 도구로 등록해 두면 모델이 직접 조회하고 실행하는 에이전트가 된다.
기본 답변은 대화체로 길고 마크다운을 쓴다. 간결한 답만 필요하면 시스템 프롬프트에 "마크다운 없이 답만 달라"고 적는 것이 권장된다.
기업 업무에 맞춘 모델이라 범용 채팅이나 창의적 글쓰기에서는 더 큰 프론티어 모델만큼 만족스럽기 어렵다. 작업 성격에 따라 뒤에 나온 변종을 고르는 편이 좋다.
| 모델 | 나온 때 | 특징 |
|---|---|---|
| Command A | 2025년 3월 | 기본형, 업무 작업 전반 |
| Command A Reasoning | 2025년 8월 | 추론 특화 버전 |
| Command A+ | 2026년 | MoE 구조의 오픈소스 모델 |
가장 흔한 쓰임은 사내 문서를 근거로 답하는 검색 도우미다. 데이터를 밖으로 보내기 어려우면 가중치를 받아 회사 GPU 서버에 올리고, 그렇지 않으면 API나 쓰던 클라우드에서 바로 부른다.
| 어디서 | 어떻게 쓰나 |
|---|---|
| 사내 문서 검색 | 위키·계약서·매뉴얼을 벡터 DB에 넣고, 찾은 문서를 근거로 답하게 한다 |
| 업무 에이전트 | 사내 API를 도구로 등록해 조회·등록 같은 반복 업무를 맡긴다 |
| 다국어 업무 | 여러 언어로 된 문서를 요약하고 번역하거나 답변 초안을 만든다 |
| 사내망 자체 운영 | vLLM으로 GPU 두 장 서버에 올려 데이터가 밖으로 나가지 않게 쓴다 |