r/LocalLLaMA•약 5시간 전•56•10

Qwen3-0.6B 모델의 MoE 변환 프로젝트

Qwen3-0.6B model converted into MoE

핵심 요약

Qwen3-0.6B 모델을 MoE로 변환하는 과정에서 겪은 기술적 도전과 실험 결과를 공유합니다.

MoE 변환 실험 — Qwen3 아키텍처의 공유 전문가 부재 문제를 의사 공유 전문가로 해결함
GGUF 호환성 — 더 많은 사용자를 위해 모델 품질보다 GGUF 호환성을 우선시함
뉴런 복제 제안 — 뉴런 복제를 통한 품질 향상 방안을 고민 중이나 효율성 저하를 우려함
성능 평가 — 0.6B 모델에서는 MoE 변환이 속도 향상에 큰 도움이 되지 않음을 확인함

제 MoE-fication 프로젝트에 관한 또 다른 업데이트 글이야. 첫 번째 글은 https://www.reddit.com/r/LocalLLaMA/s/4EyuGKOSpx 여기서 볼 수 있어.

머리말

지난번 모델 변환 이후로 새로운 방법들을 이것저것 많이 시도해 봤는데, 안타깝게도 대부분 별 효과가 없었어. 호환성 문제가 가장 큰 걸림돌이더라고. 최대한 많은 사람이 내 모델을 쓸 수 있게 GGUF 호환성을 최우선으로 뒀는데, 그러다 보니 성능 향상을 좀 포기해야 하는 상황이야.

그래도 완벽주의 성격 때문에 드디어 새 모델을 하나 내놓게 됐어. 바로 내 첫 챗 스타일 변환 모델인 Qwen3-0.6B야. 이번엔 두 가지 새로운 난관이 있었는데, 변환 과정에서 챗 성능을 유지하는 거랑 Qwen 2.5의 qwen2moe 방식을 Qwen3의 qwen3moe로 맞추는 거였지.

특히 후자가 진짜 골치 아팠어. 이전 아키텍처랑 다르게 Qwen3는 공유 전문가(shared expert)가 없거든. 예전 변환 작업 때는 중요한 뉴런을 항상 활성화해 둬서 품질을 유지할 수 있었는데, 그게 없어지니까 품질이 확 떨어지더라고.

그래서 대안으로 '유사 공유 전문가(pseudo-shared expert)'를 실험해 봤어. 라우터가 무조건 선택하게 만든 전문가인데, 가중치 차이 때문에 진짜 공유 전문가만큼은 아니어도 잃어버린 품질을 어느 정도 복구하긴 하더라.

GGUF 호환성보다 품질을 우선시하는 변환 모델도 따로 내볼까 생각 중이야. 그러면 덴스 레이어 대체 같은 기술도 쓸 수 있으니까.

마지막으로, 뉴런을 복제해서 새로운 전문가 조합을 만드는 실험을 해보고 있는데 다들 어떻게 생각해? 초기 결과는 꽤 괜찮았는데, 파라미터 수가 두 배로 늘어나 버려서 변환하는 의미가 있나 싶기도 하고. 너희 생각은 어때?