Dense 트랜스포머는 모든 토큰을 동일하게 취급한다. 512개 토큰이 있으면 512개 전부가 모든 레이어의 어텐션과 FFN을 통과한다. 파라미터 규모가 커질수록 이 균일한 처리가 계산 비용의 직접적 병목이 된다.
희소 활성화(sparse activation)의 직관은 간단하다. 전체 파라미터(total parameters)와 추론 시 실제로 활성화되는 파라미터(active parameters)를 분리할 수 있다면, 모델 용량은 유지하면서 추론 비용은 줄일 수 있다. 그 대가는 라우팅 오버헤드와 로드 불균형이다.
이 아이디어를 구현하는 방법에 두 가지 대답이 있다. MoE와 MoT는 희소성을 삽입하는 축 자체가 다르고, 그 차이가 추론 시 메모리·연산 비용 구조를 전혀 다르게 만든다.
Mixture of Experts: 레이어 축의 희소성
MoE는 FFN 레이어를 여러 "전문가(expert)"로 나누고, 각 토큰이 그 중 일부만 통과하게 한다. 레이어 수는 그대로지만, 각 레이어 내 FFN이 N개의 병렬 전문가로 대체된다.
라우팅은 토큰마다 독립적으로 작동한다. 게이팅 네트워크가 이 토큰을 어느 전문가에게 보낼지 점수를 계산하고, top-k 전문가만 활성화된다. Mixtral-8x7B는 레이어당 8개 전문가 중 2개(top-2)를 선택하는 구조다. 총 파라미터는 46.7B이지만 추론 시 활성 파라미터는 12.9B — 나머지 6개 전문가는 해당 토큰 처리 시 완전히 비활성화된다.
전문가 수를 극단으로 늘리면 이 비율은 더 벌어진다. DeepSeek-V2는 레이어당 160개 라우팅 전문가와 2개 공유 전문가를 두고, 토큰당 6개만 활성화한다. 총 236B 파라미터 중 21B만 각 토큰을 처리하는 데 쓰인다. active/total 비율이 약 9%다.
이 구조에서 load balancing은 훈련 안정성의 핵심 문제다. 라우팅이 특정 전문가에 쏠리면(expert collapse) 나머지 전문가들이 거의 학습되지 않는 상태로 수렴한다. Switch Transformer(Fedus et al., 2022)는 top-1 라우팅을 도입하면서 보조 손실(auxiliary loss)로 이 문제를 완화했다. 보조 손실은 각 전문가에 할당되는 토큰 비율을 균등화하는 방향으로 라우팅 가중치를 정규화한다. k=1 vs k=2 선택은 작은 차이가 아니다 — k=1은 분산이 크고 라우팅 비용이 낮고, k=2는 전문가 활용률이 더 균등해지는 대신 all-to-all 통신 오버헤드가 증가한다. Mixtral이 k=2를 택한 이유가 여기 있다.
Mixture of Tokens: 토큰 축의 희소성
MoT는 방향이 다르다. 레이어를 고정하고 — 레이어 수와 구성은 그대로 유지한다 — 어떤 토큰이 해당 레이어의 무거운 연산(어텐션 또는 FFN 전체)을 받을지를 선택한다. 선택받지 못한 토큰은 잔차 연결(residual connection)만 타고 해당 레이어를 건너뛴다.
시퀀스 안에서 모든 토큰이 동등하게 중요하지 않다. 문장의 핵심 명사나 동사는 풍부한 컨텍스트 정보를 담고 있지만, 조사나 punctuation은 상대적으로 단순한 패턴을 가진다. 이 차이를 계산에 반영하지 않는 것이 오히려 비효율이라는 것이 MoT의 출발점이다.
Mixture of Depths(Raposo et al., 2024)가 이 접근의 대표적 구현이다. 레이어당 처리할 토큰 수를 k로 고정하고, 경량 라우터가 top-k 토큰만 어텐션과 MLP를 통과시킨다. 계산 그래프가 정적(static)으로 유지되기 때문에 기존 CUDA 커널과 호환성이 좋고, 추론 샘플링 속도가 baseline 대비 50% 이상 빨라지는 결과가 논문에서 보고됐다.
MoE와 결정적으로 다른 지점이 하나 있다. MoT는 파라미터를 추가하지 않는다. 전문가를 더 만들지 않기 때문에 총 파라미터 수가 늘지 않는다 — 대신 기존 파라미터를 더 선택적으로 쓴다. 모델 용량 확장 없이 연산량을 줄이는 방법이라는 점에서, MoT는 MoE보다 훨씬 더 "절약형" 희소화에 가깝다.
두 전략을 같은 표에 놓기
| 항목 | MoE | MoT |
|---|---|---|
| 희소성 적용 축 | 레이어 내 전문가(FFN) 선택 | 레이어별 처리 토큰 선택 |
| 라우팅 질문 | 어떤 전문가를 쓸까 | 이 토큰이 이 레이어 연산을 받을 자격이 있는가 |
| 레이어 구조 변화 | FFN → N개 병렬 전문가로 대체 | 레이어 그대로, 토큰만 선별 |
| 파라미터 총량 | 전문가 수만큼 증가 | 변화 없음 |
| 메모리 접근 패턴 | 선택된 전문가 파라미터만 활성 | 선택된 토큰만 연산 수행 |
| 배치 불균형 성격 | 전문가별 토큰 수 편차 | 토큰별 레이어 통과 수 편차 |
| 서빙 주된 병목 | 전문가 VRAM 상주, 분산 라우팅 통신 | 가변 연산량 배치 패딩 비효율 |
파라미터 총량 항목이 중요하다. MoE는 전문가 수만큼 파라미터가 늘어나기 때문에 Mixtral-8x7B의 총 크기가 46.7B다. 서빙 시 이 46.7B 전체가 VRAM에 올라가 있어야 한다 — 다음 토큰이 어느 전문가를 선택할지 미리 알 수 없으니까. 활성 파라미터 12.9B만 봤을 때는 7B급 dense 모델과 비슷한 연산량이지만, 메모리 요구량은 전체 크기를 따른다.
추론 서빙에서 무엇이 달라지는가
MoE 서빙의 첫 번째 문제는 VRAM 상주 비용이다. 전문가 파라미터 전체를 GPU에 올려야 하고, 전문가 수가 많을수록 멀티-GPU 분산이 불가피해진다. 분산 환경에서는 라우팅 결정마다 GPU 간 all-to-all 통신이 발생한다. 배치 크기가 클수록, 전문가 수가 많을수록 이 통신이 TTFT와 throughput에 직접 영향을 준다. DeepSeek-V2가 160개 라우팅 전문가를 여러 GPU에 분산 배치하는 구성을 채택한 것도 이 때문이다.
MoT 서빙의 문제는 다른 종류다. 토큰마다 통과하는 레이어 수가 다르면 배치 내 연산량이 토큰마다 달라진다. 토큰 A가 10개 레이어만 통과하고 토큰 B가 24개를 통과하면, 같은 배치에서 짧은 경로의 토큰은 나머지를 기다리거나 패딩으로 채워야 한다. 이 패딩 비효율이 TPOT(time per output token)에 눈에 띄게 영향을 준다. 대신 전문가 파라미터 로딩 문제는 없다 — 파라미터 총량이 늘지 않으니 VRAM 부담도 늘지 않는다.
TTFT 관점에서는 MoE가 전문가 라우팅 통신 지연에, MoT는 배치 재정렬 오버헤드에 더 민감하다. throughput 관점에서는 MoE가 분산 통신 대역폭에 묶이고, MoT는 가변 연산량을 처리하는 커널 최적화 난이도가 더 높다.
MoE + MoT 조합 가능성
두 접근은 상호 배타적이지 않다. 레이어 축과 토큰 축 희소화를 동시에 적용하면 이론상 두 차원의 절감이 겹쳐진다. MoE 레이어 위에 토큰 레벨 라우터를 얹는 구조, 또는 특정 레이어는 MoE로 특정 레이어는 MoD로 운영하는 혼합 구성이 연구 방향으로 탐색 중이다.
실제 서빙 복잡도는 경고가 필요하다. expert parallelism 통신과 가변 토큰 경로를 동시에 다루는 스케줄러와 커널을 프로덕션 수준으로 최적화하는 것은 현재 기준으로 아직 열려 있는 문제다. 두 축의 희소성이 만나는 지점에서 배치 스케줄링 변수가 곱절로 복잡해진다.