Qwen3.6-35B-A3B Uncensored Aggressive 버전 출시 및 K_P 퀀트 지원
Qwen3.6-35B-A3B Uncensored Aggressive is out with K_P quants!
핵심 요약
Qwen3.6 기반의 35B-A3B Uncensored 모델이 출시되었으며, 성능 저하 없는 K_P 퀀트 버전을 제공함.
- 모델 출시 — Qwen3.6 기반의 35B-A3B Uncensored Aggressive 모델이 공개됨.
- K_P 퀀트 지원 — 모델별 최적화 프로파일을 적용해 품질을 유지하는 커스텀 퀀트 방식을 사용함.
- 기술 사양 — 256개 전문가 모델(MoE), 262K 컨텍스트, 멀티모달 기능을 지원함.
- 사용자 가이드 — llama.cpp 및 LM Studio와 호환되며, imatrix를 활용한 다양한 퀀트 옵션을 제공함.
Qwen3.6 업데이트가 출시되었습니다. 35B-A3B Aggressive 변형 모델로, 기존 3.5-35B 릴리스와 동일한 MoE 크기이지만 더 새로운 3.6 베이스를 사용합니다.
Aggressive는 거부(refusals)가 없음을 의미합니다. 성격 변경이나 수정 같은 것은 전혀 없으며, Qwen의 원본 릴리스를 완전히 검열 해제한 버전입니다.
https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive
0/465 거부 발생. 성능 손실 없이 완전히 잠금 해제되었습니다.
직접 테스트한 결과: 문제없음. 루핑(looping) 현상이나 성능 저하 없이 모든 것이 예상대로 작동합니다.
"thinking" 기능을 비활성화하려면 jinja 템플릿을 수정하거나 단순히 kwarg {"enable_thinking": false}를 사용하면 됩니다.
포함된 내용:
- Q8_K_P, Q6_K_P, Q5_K_P, Q4_K_P, Q4_K_M, IQ4_NL, IQ4_XS, Q3_K_P, IQ3_M, Q2_K_P, IQ2_M
- 비전 지원을 위한 mmproj
- imatrix로 생성된 모든 퀀트
K_P 퀀트 요약 (122B 릴리스를 놓친 분들을 위해): 가장 중요한 부분의 품질을 보존하기 위해 모델별 분석을 사용하는 커스텀 퀀트입니다. 각 모델마다 고유한 최적화 프로파일이 적용됩니다. 사실상 파일 크기가 약 5-15% 커지는 대신 1-2단계의 품질 향상 효과가 있습니다. llama.cpp, LM Studio 등 GGUF를 읽는 모든 도구와 완벽하게 호환됩니다 (Ollama는 설정이 조금 더 까다로울 수 있습니다).
빠른 사양:
- 총 35B / 활성 약 3B (MoE — 256개 전문가, 토큰당 8개 라우팅)
- 262K 컨텍스트
- 멀티모달 (텍스트 + 이미지 + 비디오)
- 하이브리드 어텐션: 선형 + 소프트맥스 (3:1 비율)
- 40개 레이어
테스트 중에 사용한 샘플링 파라미터:
temp=1.0, top_k=20, repeat_penalty=1, presence_penalty=1.5, top_p=0.95, min_p=0
하지만 thinking 모드와 비-thinking 모드에 대해 다른 설정을 권장하는 공식 Qwen 권장 사항도 꼭 확인하세요 :)
참고: llama.cpp에서 --jinja 플래그를 사용하세요. K_P 퀀트는 LM Studio의 퀀트 열에서 "?"로 표시될 수 있습니다. 이는 순전히 시각적인 문제일 뿐이며, 모델은 정상적으로 로드되고 작동합니다.
HF의 하드웨어 호환성 위젯도 K_P를 인식하지 못하므로 "View +X variants"를 클릭하거나 Files and versions로 이동하여 모든 다운로드 파일을 확인하세요.
제 모든 모델: HuggingFace-HauhauCS
또한 새로운 소식: 많은 분들이 요청하셔서 디스코드 서버를 만들었습니다 :) 링크는 HF 저장소에 있으니 업데이트, 로드맵, 프로젝트 또는 그냥 대화를 나누고 싶으시면 자유롭게 참여하세요.
모두 즐겁게 사용하시길 바랍니다.
