NVIDIA는 MoE 학습에서 중요한 부분을 모델 구조가 아니라 실행 레이어를 누가 쥐고 있느냐로 옮겨놓았다. Transformers v5가 mixture-of-experts의 기본 문제를 어느 정도 정리했다면, NeMo AutoModel은 사람들이 흔히 쓰는 from_pretrained 호출 안에 NVIDIA 커널과 병렬 처리 방식을 직접 박아 넣었다.

대규모 파인튜닝을 하는 연구실이나 회사 입장에서는 선택이 단순해졌다. 느린 속도를 그대로 두거나, NVIDIA 스택을 받아들이고 더 빠른 학습을 하거나.

속도 뒤에 숨은 실행 레이어 통제

공개된 숫자는 분명하다. Expert Parallelism과 DeepEP, TransformerEngine 커널을 같이 쓰면 처리량이 3.4~3.7배 오르고 메모리 사용량은 29~32% 줄어든다. 표면상으로는 기존 로딩 방식을 그대로 쓰는 것처럼 보인다. 하지만 실제로는 더 빠른 경로를 기본으로 삼는 순간, 나중에 빠져나오는 데 드는 시간과 비용이 만만치 않다. 다른 프레임워크는 자연스럽게 밀려난다.

| 관점 | 데이터가 보여주는 것 | 실제 의미 | 내 생각 | |------|----------------------|-----------|---------| | 단순 최적화일 뿐 | 한 줄만 바꿔도 Qwen3와 Nemotron MoE 학습이 빨라짐 | Hugging Face가 여전히 중립적인 레이어처럼 느껴짐 | 중립성은 과장됐다. 빠른 경로는 이제 NVIDIA 코드 위에서만 돈다 | | 모두가 같은 혜택을 받음 | 체크포인트는 여전히 HF 포맷 | vLLM 같은 도구도 계속 쓸 수 있음 | 성능이 중요한 작업은 NeMo 경로를 먼저 타게 됨 | | 하드웨어 문제가 풀림 | 550B 하이브리드 모델을 128 GPU로 돌림 | 초점이 모델 크기에서 처리량으로 옮겨감 | 이 성능은 NVIDIA GPU와 소프트웨어를 전제로 한다 | | MoE 해자가 더 넓어짐 | 기본 Transformers에는 DeepEP가 없음 | NVIDIA가 새로운 아키텍처의 기본 인프라가 됨 | 늦게 따라가는 팀은 격차를 계속 안고 간다 |

다음 단계는 풀스택을 가진 쪽에 유리하다

칩 레버리지가 없는 순수 소프트웨어 팀은 대형 MoE 학습에서 계속 불리할 가능성이 크다. 빠른 결과를 원하는 기업은 여러 벤더를 섞기보다 NVIDIA 경로에 들어가려는 유인이 커진다. 시장은 아직 호환성을 유지하면서 성능이 얼마나 빨리 기본값이 되는지를 제대로 보지 못하고 있다.

특히 학습 예산이 빠듯한 곳에서는 비교가 명확해진다. plain FSDP는 체감 효과가 약하고, 커스텀 DeepSpeed는 유지보수 부담이 크다. NeMo 경로는 코드 변경을 거의 없이도 두 자릿수 이상의 실질 개선을 준다.

트윗에서 나오는 말들은 중요하지 않다. 중요한 건 실제 연구실들이 이 경로를 파인튜닝 파이프라인에 넣느냐 하는 점이다. 지금까지 Hugging Face나 경쟁 팀의 뚜렷한 반응이 없는 건, 이 변화가 아직 제대로 가격에 반영되지 않았다는 신호에 가깝다.

NVIDIA는 MoE 학습의 성능 기준을 먼저 잡았다. 풀스택을 받아들이는 쪽은 계속 앞서갈 가능성이 높다. 반대로 순수 오픈소스 옵션과 그 사용자들은 시간이 갈수록 뒤처질 위험이 커진다.

결론적으로 이 이야기는 아직 초반이고, 실제로 유리한 쪽은 트레이더보다는 MoE 학습 인프라를 빠르게 표준화하는 빌더와 장기 포지션을 잡는 펀드다.