r/LocalLLaMA•2개월 전•88•39
Qwen 3.6 35B A3B Q8_0 모델의 전문가 수(expert counts) 변화에 따른 '다스 베이더 SVG 생성' 테스트
Qwen 3.6 35B A3B Q8_0 "Create an SVG of a Darth Vader." at various expert counts.
핵심 요약
MoE 모델에서 전문가 수를 변경하며 SVG 생성 성능을 테스트한 결과, 권장 수치보다 적은 전문가 사용 시 성능 저하가 확인됨.
- MoE 모델 최적화 — 학습된 전문가 수보다 적게 설정하면 성능이 저하됨
- 전문가 수 설정 — llama.cpp의 override-kv 플래그를 통해 제어 가능함
- 컴퓨팅 비용 — 전문가 수 감소에 따른 연산량 변화에 대해 사용자들 간 논의가 진행됨
- 실험적 시도 — 다양한 전문가 수 설정에 따른 모델의 결과물 차이를 비교함
특히 Qwen3.6-35B-A3B-uncensored-heretic-Q8_0.gguf, temp 0.0, "Create an SVG of a Darth Vader." (일반적인 텍스트 사용 시, 전문가 4개 이하로 설정하면 심각하게 성능이 저하되는 것으로 보임. (이 모델의 기본값은 8개임).
