Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF 모델 공개
Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF
핵심 요약
Wasserstein 메트릭을 활용해 GGUF 모델의 ssm_conv1d 텐서 드리프트 문제를 해결한 모델을 공유합니다.
- 텐서 드리프트 해결 — Wasserstein 메트릭을 사용하여 ssm_conv1d 층의 수치적 불안정성을 효과적으로 개선함.
- 모델 최적화 — Qwen3.6-35B-A3B 기반의 언센서드 모델로 프로그래밍 및 대화 성능을 강화함.
- 권장 설정 공유 — LM Studio 환경에서 최적의 성능을 내기 위한 파라미터 값을 제공함.
- 상세 데이터 제공 — 텐서 드리프트 개선 전후의 W1 수치를 비교하여 수정 효과를 입증함.
여러분 안녕하세요. 드디어 Wasserstein 메트릭(W1)을 통해 양자화된 GGUF 모델의 ssm_conv1d 텐서 드리프트 문제를 해결할 방법을 찾았습니다. 이는 텐서의 수치적 불안정성과 드리프트를 감지하는 데 있어 Kullback Leibler보다 훨씬 뛰어납니다.
세 가지 모두 긴 문맥 기억을 담당하는 순환 상태 전이 층인 ssm_conv1d.weight 층입니다. Qwen 팀이 SSM 층의 이러한 특정 드리프트 문제를 인지하지 못하고 있는 것으로 보입니다. Unsloth의 퀀트 모델에서도 동일한 버그를 발견했습니다.
|Tensor|α|D (log‑ratio)|W1 before|W1 after|
|:-|:-|:-|:-|:-|
|blk.36.ssm_conv1d.weight|0.5765|0.553|0.0038|0.0009|
|blk.37.ssm_conv1d.weight|0.5768|0.725|0.0040|0.0009|
|blk.38.ssm_conv1d.weight|0.6533|0.649|0.0026|0.0006|
모델의 다른 텐서들은 정상입니다.
수정된 모델은 여기 있습니다: https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF
이 모델은 다음 모델을 기반으로 합니다: https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive . 훌륭한 작업을 해준 HauhauCS에게 감사드립니다.
시스템 프롬프트: https://pastebin.com/pU25DVnB
채팅 템플릿: https://pastebin.com/Dy2fmmpN
권장 퀀트: Q4_K_P
권장 설정 (LM Studio):
|Parameter|Value|
|:-|:-|
|Temperature|0.7|
|Top K Sampling|20|
|Presence Penalty|1.5|
|Repeat Penalty|Disabled|
|Top P Sampling|0.8|
|Min P Sampling|0|
|Seed|42|
모델 특징:
- 사람처럼 말함. 짧고 간결함.
- 완전히 검열되지 않음(Uncensored).
- 프로그래밍 작업이 잘 작동함.
제 시스템 프롬프트를 사용한 롤플레잉을 통해 모델의 긴 문맥 윈도우를 테스트했습니다. 제 취향에 따르면 캐릭터를 따라가는 데 아무런 문제를 발견하지 못했습니다.
