런에이아이

쿠버네티스 위에서 여러 팀이 GPU를 나눠 쓰게 해 주는 엔비디아의 GPU 오케스트레이션 플랫폼이다. 노트북 실험, 학습, 추론 작업이 같은 GPU 클러스터를 두고 경쟁할 때 누가 언제 얼마나 쓸지를 스케줄러가 자동으로 정한다.

이스라엘 스타트업 Run:ai가 2018년에 만들었고, 엔비디아가 인수한 뒤 오픈소스로 공개했다.

쿼터를 넘겨 빌리고, 필요하면 돌려준다

먼저 팀마다 보장받는 GPU 양(쿼터)을 정해 두고, 남는 GPU는 다른 팀이 쿼터를 넘어 빌려 쓸 수 있게 한다. 예를 들어 A팀과 B팀이 놀고 있는 GPU까지 끌어다 학습을 돌리던 중에 C팀이 보장분인 GPU 8개를 요청하면, 스케줄러가 A·B팀 작업 일부를 멈추고(선점) 그 GPU를 C팀에 돌려준다. 빈자리에 작업을 촘촘히 채워 넣는 빈 패킹 방식으로 GPU가 조각나 낭비되는 일도 줄인다.

데이터 과학자는 쿠버네티스를 몰라도 된다

사용자는 클러스터 설정을 직접 만지지 않고 UI, CLI, API로 작업을 낸다. 실험할 때는 GPU 일부만 받아 주피터 노트북을 띄우고, 본 학습은 단일 노드나 여러 노드에 나눠 돌리고, 다 만든 모델은 추론 작업으로 올린다. 이 과정을 모두 한 플랫폼에서 처리한다. PyTorch, TensorFlow, MLflow, Kubeflow 같은 도구와 함께 쓸 수 있다.

설치 방식은 세 가지

어떤 방식을 골라도 실제 작업은 내 쿠버네티스 클러스터에서 돈다. AKS 같은 퍼블릭 클라우드 클러스터와 사내 클러스터를 한 화면에서 함께 관리할 수 있다.

작은 환경에는 과하다

엔비디아는 보통 GPU 16개 이상인 기업 환경을 대상으로 잡고 있고, 서버 한 대나 시험 도입(PoC) 규모에는 권하지 않는다. 설치하고 연동하려면 인프라 설계가 필요하고, 쿠버네티스 운영 경험도 있어야 한다. 공정한 스케줄링 기능만 필요하다면 따로 오픈소스로 공개된 KAI Scheduler부터 써 보는 방법도 있다.

여러 팀이 쓰는 사내 GPU 클러스터에 주로 얹는다

가장 흔한 건 여러 팀이 같이 쓰는 사내 GPU 클러스터의 공용 스케줄러로 두는 방식이다. 플랫폼 팀이 쿼터를 정해 두면, 각 팀은 실험·학습·추론을 같은 화면에서 내고 남는 GPU는 서로 빌려 쓴다.