AI 칩

AI 칩은 AI 모델의 학습과 추론에 필요한 대규모 행렬 계산만 빠르고 싸게 처리하도록 만든 AI 전용 반도체로, 무엇이든 하는 CPU보다 이 일을 훨씬 빠르고 싸게 한다. 개발자는 칩을 직접 사지 않고 클라우드에서 GPU 대신 TPU나 Trainium 같은 인스턴스를 고르는 방식으로 쓴다.

최근에는 빅테크가 자기 서비스에 맞춘 칩을 직접 설계하는 흐름이 커지고 있다.

개발자는 클라우드에서 고른다

칩을 직접 살 일은 거의 없다. 모델을 학습하거나 서비스할 인스턴스를 고를 때 GPU 옆에 TPU나 Trainium 같은 선택지가 함께 뜬다. 평소처럼 머신러닝 프레임워크로 코드를 돌리면 칩 전용 컴파일러가 하드웨어에 맞게 번역해 준다.

추론 요청이 많은 서비스라면 같은 모델을 추론 특화 칩에서 돌려 토큰당 비용을 낮추는 쪽이 유리할 수 있다. 우리가 API로 부르는 LLM 응답도 이미 이런 칩 위에서 처리되는 경우가 많다.

칩보다 소프트웨어 호환이 먼저다

칩 성능이 좋아도 쓰던 모델 코드가 그대로 올라가지 않거나 특정 연산이 지원되지 않으면, 옮기는 비용이 성능 이득을 잡아먹는다. 커스텀 칩으로 옮기기 전에 내 모델이 그 칩의 소프트웨어 스택에서 잘 돌아가는지 먼저 확인하는 게 좋다.

빅테크가 직접 만드는 이유

필요한 칩이 폭증하면서 외부 GPU만 사면 비용과 공급을 남에게 맡기게 됐다. 자기 소프트웨어를 가장 잘 아는 회사가 하드웨어까지 맞추면 같은 전력과 돈으로 더 많은 계산을 할 수 있다. 다만 설계는 Broadcom·Marvell 같은 파트너와 함께하고, 생산은 TSMC 같은 공장에 맡긴다.

범용성을 포기한 대가

특정 작업에 맞춘 만큼 모델 구조가 바뀌면 최적화가 덜 맞을 수 있다. 개발비도 커서 업계에서는 연구개발비만 5억 달러를 넘을 수 있다고 본다. 그래서 커스텀 칩은 작업 규모가 아주 큰 회사의 전략이고, 대부분의 개발자에게는 클라우드에서 어떤 하드웨어를 고를지의 문제다.

학습·서비스는 클라우드에서, 기기 속 AI는 NPU로

대부분은 클라우드 인스턴스로 빌려 쓰는 방식이다. 큰 모델 학습과 요청이 많은 추론 서비스는 클라우드의 AI 칩에 올리고, 스마트폰·노트북에서는 내장 NPU가 기기 안의 AI 기능을 맡는다.