궁극의 MoE 학습 핸드북: Megatron-LM으로 Mixture-of-Experts 모델 학습하기
The Ultimate MoE Training Handbook: training Mixture-of-Experts models with Megatron-LM, setting by setting.
핵심 요약
Megatron-LM을 활용해 MoE 모델을 학습시키는 방법부터 시스템 구조, 서빙 및 RL까지 다루는 종합 가이드가 공개되었습니다.
- MoE 학습 가이드 — 밀집 모델 학습 경험자를 위한 MoE 모델 학습 단계별 지침 제공
- Megatron-LM 활용 — 하드웨어 테스트부터 베이스라인 학습 및 MoE 구현까지 상세 설명
- 기술적 심층 분석 — 라우터, 로드 밸런싱, 전문가 레이어 등 MoE 핵심 구성 요소 해부
- 실전 데이터 기반 — 80만 시간의 GH200 GPU 학습 경험과 권장 설정값 공유
huggingface.co
원문 사이트로 이동
이 핸드북은 덴스 모델을 학습해 봤고 이제 MoE를 학습해 보고 싶은 사람들, 혹은 MoE 학습이 어떻게 돌아가는지 궁금한 사람들을 위한 거야. 2장은 Megatron-LM 운영 가이드인데, 하드웨어 테스트부터 이미지 빌드, 덴스 베이스라인 학습, 그리고 베이스라인과 비교하며 노드 하나에서 처음으로 MoE를 돌려보는 과정까지 다뤘어. 3장은 MoE 레이어를 낱낱이 파헤쳐 봤어(라우터, 라우팅, 로드 밸런싱, 전문가 모델, 블록 레이아웃, 학습, 시스템). 각 파트마다 Megatron-LM 코드랑 주의할 점, 우리 추천 사항, 그리고 최신 모델들이 뭘 선택했는지 정리했어. 4장은 모델 서빙이랑 RL까지 이어지는 내용을 담았고. 3장이랑 4장은 GPU 없어도 읽을 수 있어.
우리가 직접 돌려서 나온 결과는 그렇다고 명시했어. 최신 모델들에 대한 주장은 해당 논문이나 설정, 코드를 인용했고, 장난감 같은 시뮬레이션은 따로 표시해 뒀어. 이 교훈들은 CSCS의 Alps 클러스터에서 약 80만 GH200 GPU-시간 동안 MoE를 굴리면서 얻은 것들이야.
공개 자료: 핸드북 본문, 55개 그림 갤러리(https://huggingface.co/spaces/huggingface/moe-gallery), 스크립트(https://gist.github.com/nmntz/5de952d686f66d7bce5bce8cba9d7139), 그리고 Megatron-LM 블록 하나로 정리한 모든 추천 플래그.
질문 있으면 언제든 환영!
