딥인퍼

딥시크가 자사 API 뒤에서 DeepSeek V4.1 Flash를 서빙하던 추론 프레임워크를 Apache-2.0으로 공개한 것이다. V4.1 Flash를 내 GPU·NPU 클러스터에서 딥시크와 같은 최적화로 돌리고 싶을 때 쓰는데, 오프라인 추론 엔진이라 온라인 서비스에 필요한 부품 일부는 직접 채워야 한다.

딥시크 API의 최적화를 그대로 가져온다

모델 가중치를 받는 것과 그 모델을 효율적으로 돌리는 것은 다른 문제다. 딥인퍼는 딥시크가 그동안 따로 공개해 온 커널들을 하나의 엔진으로 묶었다. 여기에 여러 토큰을 한 번에 예측하고 검증하는 추측적 디코딩, 칩이 다음 작업을 기다리며 노는 시간을 줄이는 비동기 스케줄링이 더해졌다. 목표는 요청 하나에 드는 연산 비용을 낮추는 것이고, 전용 하드웨어를 고칠 필요는 없다.

엔진이지 완성된 서비스가 아니다

README에 경계가 분명히 적혀 있다. 딥인퍼는 호스팅 API도 모델도 아닌 오프라인 추론 엔진이다. 실제 온라인 서비스를 하려면 KV 캐시 시스템, 프리필과 디코드 분리, 데이터 병렬 복제본 사이의 부하 분산이 필요한데 셋 다 빠져 있다. 딥시크 내부 인프라와 가장 깊게 묶인 부분을 남겨 둔 설계상 경계라서, 받아서 바로 API 서버로 띄우기보다는 이 세 가지를 기존 서빙 스택으로 채운다고 생각해야 한다.

엔비디아와 화웨이를 함께 지원한다

지원 하드웨어는 NVIDIA SM100 계열 GPU와 화웨이 Ascend 950 NPU 두 갈래다. 화웨이 칩이 엔비디아와 같은 비중으로 들어간 점이 화제가 됐다. 공개된 처리량 수치는 딥시크 자체 환경 기준이고 조건이 붙어 있으니, 내 클러스터와 워크로드로 직접 재 봐야 한다. 함께 나온 deepseek-recipe는 토큰 인코딩·디코딩 부품으로, 커뮤니티 배포에서도 API 동작이 딥시크 공식 API와 똑같이 나오게 맞춰 준다. 앞으로 나올 모델의 추론 코드도 같은 저장소로 공개할 예정이다.

사람들은 주로 이렇게 쓴다