r/LocalLLaMA•약 4시간 전•40•14

865억 토큰만으로 38.7억 파라미터 MoE(활성 14.5억) 모델을 밑바닥부터 학습시켰습니다

I trained a 3.87B MoE (1.45B active) from scratch on only 86.5B tokens

핵심 요약

865억 토큰으로 밑바닥부터 학습한 소형 MoE 모델 'Apex-2'를 공개하고 학습 과정과 결과를 공유했습니다.

모델 아키텍처 — 38.7억 파라미터 규모의 Decoder-only MoE 구조로 설계됨
학습 효율성 — 865억 토큰만으로 Qwen2.5-1.5B와 대등한 코딩 성능을 달성함
실패 사례 — DPO 적용 시 답변 길이는 늘어났으나 코딩 및 수학 성능이 저하됨
모델 한계 — 영어 중심 학습으로 다국어 능력 부족 및 지식 부족으로 인한 환각 현상 발생

huggingface.co

원문 사이트로 이동

일단 읽어줘서 고맙다.

외부 베이스 웨이트 하나도 안 쓰고 밑바닥부터 직접 MoE 모델 하나 굴려봤는데, 결과랑 몇 가지 배운 점 공유하려고 글 쓴다.

Apex-2

아키텍처: 디코더 전용 MoE, 모든 레이어가 MoE임 (덴스 레이어 없음)
사이즈: 전체 파라미터 3.87B, 토큰당 활성 파라미터 1.45B
32 레이어, d_model 2048, GQA 16Q/4KV, 16 전문가, top-4
컨텍스트: 4096
토크나이저: Qwen3 (151k)
허깅페이스: https://huggingface.co/YOON1v/Apex-2

(Qwen3MoeForCausalLM 매핑을 통해 transformers / vLLM으로 로드 가능)

학습

프리트레인: 86.5B 토큰 (GH200 ×1 → DiLoCo 써서 ×2로 확장)
SFT: 약 2.5B 토큰 (코드 위주 + 수학 + 인스트럭션)
DPO: 해봤는데 점수 떨어져서 그냥 체크포인트 버림

주요 지표 (SFT, greedy, chat template)

벤치마크

HumanEval 43.9
HumanEval+ 41.5
MBPP 56.3
MBPP+ 48.9
GSM8K (0-shot CoT) 32.4
MATH-500 21.0
IFEval (prompt strict) 44.7
MMLU (5-shot) 28.6

흥미로운 비교

프리트레인 토큰을 고작 0.087T 정도만 썼는데도, 베이스 모델 HumanEval+ 점수가 Qwen2.5-1.5B(이건 18T 썼음)랑 비비더라.

물론 데이터 양 차이 때문에 지식(MMLU)이나 수학 쪽은 아직 한참 딸림.

안 됐던 거

DPO(220k 쌍, 길이 정규화) 돌렸더니 답변만 쓸데없이 길어지고 코드/수학/IFEval 성능 다 깎아먹음.

그래서 바로 중단하고 SFT 체크포인트로 회귀했다. 자세한 로그는 벤치마크 리포트에 다 적어놨음.

한계점 (솔직하게)

영어 위주 (다국어 능력 거의 없음)
지식 부족 → 환각 현상 잦음
LiveCodeBench medium/hard는 거의 0점 수준
4k 컨텍스트가 한계

MoE 설정이나 DiLoCo, 아니면 왜 DPO가 망했는지 궁금한 거 있으면 물어봐라. 아는 대로 답해줌.

원문

커뮤니티 목록

r/LocalLLaMA•약 4시간 전•40•14

865억 토큰만으로 38.7억 파라미터 MoE(활성 14.5억) 모델을 밑바닥부터 학습시켰습니다

I trained a 3.87B MoE (1.45B active) from scratch on only 86.5B tokens

핵심 요약

865억 토큰으로 밑바닥부터 학습한 소형 MoE 모델 'Apex-2'를 공개하고 학습 과정과 결과를 공유했습니다.

모델 아키텍처 — 38.7억 파라미터 규모의 Decoder-only MoE 구조로 설계됨
학습 효율성 — 865억 토큰만으로 Qwen2.5-1.5B와 대등한 코딩 성능을 달성함
실패 사례 — DPO 적용 시 답변 길이는 늘어났으나 코딩 및 수학 성능이 저하됨
모델 한계 — 영어 중심 학습으로 다국어 능력 부족 및 지식 부족으로 인한 환각 현상 발생

huggingface.co

원문 사이트로 이동

일단 읽어줘서 고맙다.

외부 베이스 웨이트 하나도 안 쓰고 밑바닥부터 직접 MoE 모델 하나 굴려봤는데, 결과랑 몇 가지 배운 점 공유하려고 글 쓴다.

Apex-2

아키텍처: 디코더 전용 MoE, 모든 레이어가 MoE임 (덴스 레이어 없음)
사이즈: 전체 파라미터 3.87B, 토큰당 활성 파라미터 1.45B
32 레이어, d_model 2048, GQA 16Q/4KV, 16 전문가, top-4
컨텍스트: 4096
토크나이저: Qwen3 (151k)
허깅페이스: https://huggingface.co/YOON1v/Apex-2

(Qwen3MoeForCausalLM 매핑을 통해 transformers / vLLM으로 로드 가능)

학습

프리트레인: 86.5B 토큰 (GH200 ×1 → DiLoCo 써서 ×2로 확장)
SFT: 약 2.5B 토큰 (코드 위주 + 수학 + 인스트럭션)
DPO: 해봤는데 점수 떨어져서 그냥 체크포인트 버림

주요 지표 (SFT, greedy, chat template)

벤치마크

HumanEval 43.9
HumanEval+ 41.5
MBPP 56.3
MBPP+ 48.9
GSM8K (0-shot CoT) 32.4
MATH-500 21.0
IFEval (prompt strict) 44.7
MMLU (5-shot) 28.6

흥미로운 비교

프리트레인 토큰을 고작 0.087T 정도만 썼는데도, 베이스 모델 HumanEval+ 점수가 Qwen2.5-1.5B(이건 18T 썼음)랑 비비더라.

물론 데이터 양 차이 때문에 지식(MMLU)이나 수학 쪽은 아직 한참 딸림.

안 됐던 거

DPO(220k 쌍, 길이 정규화) 돌렸더니 답변만 쓸데없이 길어지고 코드/수학/IFEval 성능 다 깎아먹음.

그래서 바로 중단하고 SFT 체크포인트로 회귀했다. 자세한 로그는 벤치마크 리포트에 다 적어놨음.

한계점 (솔직하게)

영어 위주 (다국어 능력 거의 없음)
지식 부족 → 환각 현상 잦음
LiveCodeBench medium/hard는 거의 0점 수준
4k 컨텍스트가 한계

MoE 설정이나 DiLoCo, 아니면 왜 DPO가 망했는지 궁금한 거 있으면 물어봐라. 아는 대로 답해줌.

주요 댓글

r/localllama

작성자의 MoE 모델 성과에 대해 커뮤니티는 긍정적인 반응을 보이며, 학습 비용과 기술적 세부 사항에 대한 심도 있는 질문과 조언을 나누고 있습니다.

Qwen 파인튜닝이 아닌, 밑바닥부터 SML을 구축하려는 다른 사람들의 시도를 보니 고무적이네요. 나중에 확인하려고 별표 눌러놨습니다.

혹시 셀프 디스틸레이션으로 추가 학습을 진행할 계획이 있으신가요? 제가 가장 관심 있는 부분이거든요.

대단한 작업이네요! 학습은 정말 어려운 일이죠.

모델 학습에 든 총 하드웨어 비용은 얼마인가요? 얼마나 걸렸나요? 정말 밑바닥부터 학습하신 건가요?

진짜 멋지네. 나도 폴란드어 데이터로만 밑바닥부터 학습시킨 4B A1.15B MoE 모델을 만드는 비슷한 프로젝트를 하고 있어. 결과가 좋네. 여기까지 오는 데 연산 자원이 얼마나 들었어? 처리량(throughput)은 어땠고? Qwen 3 토크나이저를 재사용하니까, 같은 토크나이저를 쓰는 다른 Qwen 3 모델들로부터 오프 폴리시나 온 폴리시 증류(distillation)를 할 수 있을 거야. 나도 내 프로젝트에서 내가 쓰는 APT4 토크나이저를 공유하는 모델들로 그렇게 할 계획이야.