r/LocalLLaMA•약 5시간 전•64•10

업데이트: 밀집 모델을 Mixture-of-Experts(MoE)로 변환하기

Update: Converting dense models into Mixture-of-Experts

핵심 요약

밀집 모델을 MoE로 변환하여 추론 속도를 향상시킨 실험 결과와 GGUF 모델을 공유함.

이건 예전에 썼던 글의 업데이트 버전이고, 원문은 여기서 볼 수 있음: https://www.reddit.com/r/LocalLLaMA/s/n7sgRZZc4z

지난번 글 이후로 변환 작업 계속하면서 새로운 모델들도 변환해 봤음. 이번에 새로 만든 모델은 Qwen2.5-1.5B-MoE-A0.9B임. 0.5B랑 1.5B 모델 둘 다 GGUF 버전도 풀었으니까 여기서 확인해 봐. bayliner1980/Qwen2.5-0.5B-MoE-A0.3B-GGUF 그리고 여기 bayliner1980/Qwen2.5-1.5B-MoE-A0.9B-GGUF.

-	Dense	MoE
WikiText-2 test perplexity (1024-token windows)	10.41	14.63 (+41%)
C4 validation perplexity (64 × 1024 tokens)	15.76	22.88 (+45%)
Zero-shot tasks, mean acc_norm	0.565	0.462

Perplexity는 40% 정도 더 높고, ARC 벤치마크 점수가 제일 많이 떨어졌음.

-	Dense	MoE

r/LocalLLaMA•약 5시간 전•64•10

Update: Converting dense models into Mixture-of-Experts

밀집 모델을 MoE로 변환하여 추론 속도를 향상시킨 실험 결과와 GGUF 모델을 공유함.

이건 예전에 썼던 글의 업데이트 버전이고, 원문은 여기서 볼 수 있음: https://www.reddit.com/r/LocalLLaMA/s/n7sgRZZc4z

-	Dense	MoE
WikiText-2 test perplexity (1024-token windows)	10.41	14.63 (+41%)
C4 validation perplexity (64 × 1024 tokens)	15.76	22.88 (+45%)
Zero-shot tasks, mean acc_norm	0.565	0.462