r/LocalLLaMA•약 1개월 전•441•90
Qwen3.6 35B A3B Heretic (KLD 0.0015!) 역대급 모델. 내가 써본 35B 중 최고!
핵심 요약
Qwen3.6 35B A3B Heretic 모델이 24GB VRAM에서 훌륭한 성능과 긴 컨텍스트를 보여주며, 기존 모델보다 더 똑똑하게 느껴짐.
- 성능 최적화 — IQ4XS 및 Q8 KVcache 설정으로 24GB VRAM에서 원활하게 구동됨.
- 컨텍스트 처리 — 262K 컨텍스트를 지원하며 멀티 턴 툴 콜에서도 오류 없이 작동함.
- 모델 지능 — 기존 모델보다 더 똑똑하게 느껴지며 KLD가 낮아 무해한 프롬프트에서도 안정적임.
- 벤치마크 기대 — 이전 버전인 3.5 35B 사례를 볼 때 3.6 버전도 벤치마크 점수가 높을 것으로 예상됨.
며칠 동안 써봤는데, 내가 써본 Qwen 3.6 35B 언센서드 모델 중 단연 최고야. IQ4XS, Q8 KVcache, 262K 컨텍스트 설정으로 24GB VRAM에 딱 맞게 들어가고 멀티 턴 툴 콜에서도 오류가 안 나. 솔직히 원본 모델보다 더 똑똑하게 느껴져(미친 소리 같겠지만). 이 모델은 KLD도 매우 낮아서 이론적으로는 무해한 프롬프트에서 원본 모델과 비슷할 거야.
llmfan의 3.5 35B 모델이 UGI NatInt 섹션에서 실제로 원본보다 벤치마크 점수가 높게 나왔거든. 그래서 이번 3.6 35B도 원본 3.6 모델보다 벤치마크 점수가 더 높게 나올 거라는 강한 예감이 들어.
다들 한번 써봐.
