MoE

모델 안에 여러 전문가 신경망을 두고, 라우터가 토큰마다 몇 개만 골라 계산하는 구조다. 전체 지식(총 파라미터)은 크게 늘리면서 토큰당 계산(활성 파라미터)은 작게 유지할 수 있어 대형 오픈 모델 대부분이 쓰고, 로컬에서 직접 돌릴 때 특히 알아 둬야 한다.

Qwen3-235B-A22B처럼 이름에 활성 파라미터(A22B)를 함께 적는 경우도 있다.

메모리는 총, 속도는 활성 기준

API로 쓸 때는 MoE인지 몰라도 된다. 차이는 직접 돌릴 때 드러난다. 어떤 전문가가 불릴지 미리 모르니 전부 메모리에 올려야 하지만, 토큰마다 읽는 가중치는 일부라 같은 크기의 일반 모델보다 훨씬 빨리 답한다.

예를 들어 gpt-oss-120b는 전문가 가중치를 4비트로 줄여 80GB GPU 한 장에 들어가면서도 응답이 빠르다. 모델을 고를 때 총 파라미터로 메모리를, 활성 파라미터로 속도를 가늠하면 된다.

전문가만 RAM으로 내리면 작은 GPU로도 돈다

전문가 층은 용량은 크지만 토큰당 계산은 가볍다. 그래서 llama.cpp에서 전문가 가중치만 시스템 RAM으로 내리면, VRAM 12~24GB 그래픽카드에 RAM만 넉넉해도 수백억 파라미터 MoE를 쓸 만한 속도로 돌릴 수 있다.

서버에서 GPU 여러 장으로 서빙할 때는 전문가를 GPU마다 나눠 싣는 전문가 병렬화를 쓴다.

쏠림과 파인튜닝은 조심

라우터가 몇몇 전문가만 편애하면 나머지는 놀게 된다. 서빙 중에는 인기 전문가가 실린 GPU만 바빠져 처리량이 떨어지고, 요청마다 불리는 전문가가 달라 메모리 대역폭도 예상보다 많이 쓴다.

파인튜닝은 적은 데이터에 과적합되기 쉬워 일반 모델보다 까다롭다. 큰 MoE를 적은 GPU로 미세조정한다면 전문가 층은 얼려 두고 나머지만 학습하는 방법부터 시도해 볼 만하다. 연구에서는 이렇게 해도 전체를 학습한 것과 비슷한 결과가 나왔고, 메모리도 아낄 수 있다.

직접 돌리고 서빙할 때 따지는 구조

MoE는 따로 켜는 기능이 아니라 모델을 고르고 돌릴 때 따져 보는 구조다. 사람들이 가장 신경 쓰는 곳은 로컬 실행이고, 서버 운영과 미세조정에서도 고려한다.