r/LocalLLaMA•약 1개월 전•116•45
QwenMix-3.7: Qwen 3.8과 3.6이 같은 구조를 공유한다는 글을 계속 봐서, Qwen 3.8로 둘을 합쳐봤습니다.
QwenMix-3.7: Kept seeing posts about Qwen3.8 and 3.6 sharing the same structure.. so I had Qwen3.8 combine them.
핵심 요약
Qwen 3.8과 3.6 모델을 병합하여 QwenMix-3.7을 만든 실험적 시도입니다.
- 모델 병합 실험 — Qwen 3.8과 3.6 모델을 결합하여 새로운 QwenMix-3.7 모델을 생성함
- 성능 변화 관찰 — 병합된 모델이 3.8보다 성능이 낮고 토큰 사용량이 적은 현상을 확인함
- 모델 명명 논의 — 커뮤니티에서 3.68, 3.86 등 재치 있는 모델 이름 아이디어를 제안함
- 병합 방식 제안 — 모델 가중치를 수학적으로 조절하여 성능을 개선하는 방식이 논의됨
huggingface.co
원문 사이트로 이동
이 짓을 한 이유는 딱히 어려워서가 아니라 그냥 웃겨서다. 다들 3.8이랑 3.6이 학습 데이터(3.8은 토큰 7개가 추가됐지!)를 제외하면 기능적으로 똑같다고 떠들어대길래, 그럼 합칠 수 있나 싶어서 해봤다. 결론은 합쳐진다.
Qwen3.8-27B-UD-Q6_K_XL.gguf를 써서 HF 3.8-27B랑 3.6-27B를 합쳤는데... 어찌어찌 돌아가긴 한다!
간단한 작동 확인(smoke test) 말고는 테스트 하나도 안 했다. 스크립트랑 아이디어는 모델 저장소 안의 replicate/ 폴더에 넣어뒀다.
누군가에겐 도움이 되겠지. 즐겨라!
