avatar

NVIDIA, 멀티모달 MoE 모델 Nemotron 3 Nano Omni 오픈소스로 공개

가중치, 학습 데이터, 레시피까지 허용적 라이선스로 공개한 300억 파라미터 모델

avatar
6 months ago

TL;DR:

  • NVIDIA가 Nemotron 3 Nano Omni를 공개했다. 가중치, 학습 데이터, 레시피 모두 포함. 비디오, 오디오, 이미지, 텍스트를 처리하는 30B-A3B 하이브리드 MoE 모델이다
  • Artificial Analysis 벤치마크에서 Qwen3-30B 대비 처리량 최대 3.3배. 100만 토큰 컨텍스트 윈도우 지원
  • 하이브리드 Mamba-Transformer MoE 아키텍처를 사용하며 활성 파라미터는 36억 개. 대형 에이전트 시스템에서 지각(perception) 컴포넌트로 쓸 수 있게 설계됐다
  • NVIDIA 하드웨어(Ampere, Hopper, Blackwell)에 최적화되어 해당 플랫폼에서 성능이 좋지만, 다른 하드웨어로 옮기기는 어려울 수 있다

NVIDIA가 실제로 공개한 것

NVIDIA가 Nemotron 3 Nano Omni를 완전 오픈소스로 발표했다. 가중치, 데이터, 학습 레시피를 모두 제공한다. 비디오, 오디오, 이미지, 텍스트 입력을 처리하는 30B-A3B 하이브리드 MoE 모델이다. NVIDIA 벤치마크에 따르면 DocVQA와 VideoMME에서 경쟁 모델들을 앞선다.

타이밍도 눈여겨볼 만하다. 에이전틱 AI 시스템에는 효율적인 멀티모달 추론이 필요한데, 역량 있는 멀티모달 모델 상당수가 여전히 폐쇄적이다. NVIDIA는 가중치만이 아니라 학습 레시피와 데이터까지 공개했다. OpenAI나 Anthropic과는 다른 행보다.

Artificial Analysis와 Hugging Face 벤치마크에서 Qwen3-30B 대비 처리량이 최대 3.3배 높았다. 100만 토큰 컨텍스트와 NVFP4 양자화를 지원해서 대량 엔터프라이즈 워크로드에 쓸 만하다.

몇 가지 생각:

  • 오픈 멀티모달 모델의 보안 우려에 대해: 솔직히 과장된 측면이 있다. 폐쇄형 모델도 비슷한 취약점이 있다. 차이는 연구자들이 문제를 들여다볼 수 있느냐의 투명성이다.
  • 대규모 컴퓨팅 예산이 없는 팀에게: 학습 레시피와 데이터를 공개해서 파인튜닝 장벽이 낮아졌다. Anthropic 수준의 자원이 없는 그룹도 이 작업 위에 뭔가를 만들 수 있다.
  • NVIDIA 비즈니스 관점에서: 오픈 모델이 NVIDIA GPU에 최적화되면 GPU가 더 팔린다. 이 소프트웨어-하드웨어 통합을 시장이 과소평가하고 있을 수도 있다.

효율성 이야기

아키텍처가 흥미롭다. 300억 파라미터 중 36억만 활성화되는 하이브리드 Mamba-Transformer MoE다. arXiv와 DataCamp 분석에 따르면 대안 대비 비디오 추론에서 시스템 용량이 9.2배 높다.

멀티모달 에이전트가 거대한 폐쇄형 모델을 필요로 한다는 가정을 흔드는 결과다. 이 설계 덕분에 Nano는 Nemotron 3 Ultra 같은 기획(planning) 모델에 입력을 공급하는 지각 서브에이전트로 쓸 수 있다.

트레이드오프도 있다. GPU 전용 최적화는 NVIDIA 하드웨어에서 실질적인 성능 이점을 주지만, AMD나 Intel을 고려하는 사용자에게는 락인이 될 수 있다.

| 누가 주목하나 | 무엇을 보고 있나 | 의미 | 내 생각 | |----------------|-------------------|------|------------| | 오픈소스 개발자 | Hugging Face 모델 카드의 100만 컨텍스트, Qwen3-30B 대비 강한 벤치마크 | API 비용 없이 더 많은 실험 가능 | 채택이 빠를 것 같다. 유능한 오픈 멀티모달 모델을 기다려온 사람이 많다 | | 하드웨어 경쟁사 | NVIDIA 블로그의 Ampere/Hopper/Blackwell 최적화 강조 | 하드웨어-소프트웨어 번들이 경쟁 진입 장벽이 됨 | AMD와 Intel이 AI 컴퓨트 인지도에서 더 뒤처진다 | | 엔터프라이즈 팀 | Artificial Analysis의 3.3배 처리량 향상 수치 | 오픈 모델이 프로덕션 에이전트 워크로드의 실용적 대안이 됨 | 비용을 중시하는 CIO에게 폐쇄형 API의 현실적 대안 | | 폐쇄형 모델 연구소 | DataCamp 벤치마크에서 추론 작업 GPT-OSS-20B 대비 우위 | 오픈 대안이 성능을 내면 폐쇄성 정당화가 어려워짐 | 이 패턴이 지속되면 폐쇄형 모델의 가격 결정력이 약해질 수 있다 |

요약: NVIDIA가 벤치마크에서 실제로 경쟁하는 오픈 멀티모달 모델을 만들었다. 자사 하드웨어 생태계에 연계하면서 재현에 필요한 모든 것을 공개했다. 에이전트 아키텍처를 평가하는 엔터프라이즈 팀이라면 진지하게 검토해볼 만하다. 다만 NVIDIA GPU 의존성은 주의해야 한다. 해당 하드웨어가 아니면 성능 수치가 그대로 나오지 않을 수 있다.

중요도: 높음
카테고리: Model Release, Open Source, Market Impact