Qwen 3.8 27B Released! Please Share Your Experience
Qwen 3.8 27B 모델이 출시되어 사용자들의 초기 테스트 결과와 추론 성능에 대한 논의가 활발함.
니가 실험해본 결과, Qwen 3.8 27B는 어떤 프론티어 모델이랑 제일 비슷하냐? 그리고 어떤 양자화(quantization) 버전 돌렸는지도 좀 알려줘. 나도 내 테스트 결과랑 경험담 댓글로 달아볼게.
사용자들은 Qwen 3.8 27B의 향상된 추론 능력을 높게 평가하면서도, 일부 양자화 설정에서의 루프 문제와 MTP 기능에 대한 기술적 논의를 이어가고 있습니다.
초기 첫인상: Qwen 3.6과 비교하려고 테트리스 게임을 만들어봄. 둘 다 Q4_K_M. Qwen 3.8은 추론을 거의 과하게 함. 생각하는 단계에서 Qwen 3.6은 약 3000단어를 썼는데(토큰 사용량 확인 방법을 몰라서 미안), Qwen 3.8은 벌써 15000단어를 넘겼고 아직도 진행 중임. 업데이트: 시간이 훨씬 오래 걸리긴 했지만, 훨씬 더 나은 게임이 나옴. UI/UX 측면에서 훨씬 더 다듬어진 느낌임...
llama.cpp를 쓰고 있다면 이 플래그들이 도움 될 거임:
--reasoning-budget 4096
--reasoning-budget-message "잠깐, 너무 깊게 생각하는 것 같네. 이제 답할게."
오. 추론 예산을 그렇게 설정하는 줄 몰랐네. 간단하네. 다른 추론 노력 파라미터에 맞춰서 다른 수준의 추론을 학습시킬 필요가 없겠어.
맞아, 근데 그건 학습된 추론 노력만큼 잘 작동하지 않는 무식한 방법(brute force)이야. 그렇게 모델을 중간에 끊어버리면, 원래는 선택하지 않았을 토큰을 쓰게 만들어서 출력 품질이 떨어질 수 있어.
단점은 이렇게 하면 성능이 저하될 수 있고, 때로는 non-thinking 모드를 사용했을 때보다 더 낮은 퀄리티가 나올 수도 있다는 거임.
하지만: 이걸 그냥 '막' 하면 모델에 좋은 영향을 주지 않을 수도 있음. 실제로 내가 Qwen3 9B에서 (HumanEval로 테스트하면서) 그렇게 해봤을 때, 성능이 완전히 박살 났음: reasoning 버전의 94%와 non-reasoning 버전의 88%에서, 강제로 reasoning budget을 적용하니까 78%라는 처참한 결과가 나옴. 그래서 우리가 다른 플래그를 추가한 거임:
--reasoning-budget-message…
그럼 그냥 reasoning을 낮게 설정해서 쓰면 되는 거 아님? 난 pi에서 kwards 매핑해봤는데 아주 잘 돌아감. 세션 도중에 reasoning 레벨 바꾸면 prompt prefill이 트리거되긴 하는데(당연한 거지만). 근데 지금 추론 능력 진짜 미쳤음... 모델 똑똑하게 만드는 방법이 이거지. 난 루프 안 걸리던데. 근데 확실히 생각하는 시간은 엄청 길어. 솔직히 deepseek v4 flash 0731이나 GLM5.2 같은 느낌임. 짧게 써본 바로는 출력 퀄리티도 그 모델들이랑 비등비등하고... 근데 예전 모델들보다는 비교도 안 될 정도로 똑똑함...
MTP를 기다릴 수 없다는 게 무슨 뜻임? Qwen이랑 Unsloth 모델 카드 보면: > MTP (Multi-Token Prediction): 여러 단계로 학습됨
내 생각엔 Qwen3.6 양자화 버전 때문에 혼란이 좀 있는 듯. Unsloth가 처음에 MTP가 안 되는 unsloth/Qwen3.6-27B-GGUF 양자화 버전을 배포했거든. 그 다음에 MTP가 작동하는 unsloth/Qwen3.6-27B-MTP-GGUF 레포를 따로 만들었는데, 기존에 배포된 걸 건드렸다가 문제 생길까 봐 그랬던 것 같음. 개인적으로는 그게 꼭 필요했나 싶음. hf 모델 레포가 (xet-extended) git 레포인 걸 생각하면, 다들 MTP(혹은 dflash 등등)를 원하니까 그냥 git 태그를 다르게 해서 처리할 수도 있었을 텐데...
고마워.
동일한 프롬프트로 Qwen 3.6과 비교한 결과.
루프에 빠지거나 그런 건 아니었어? 권장 샘플링 파라미터 쓰고 있는 거야? 어떤 추론 노력을 사용 중이야? 3.6이랑 비교하면 출력은 어때? 게임이 더 나아졌어?
난 FP8 쓰니까 루프 걸리고 결과물 개판으로 나오던데.
이제 추론 길이 조절 기능이 있지 않나?
그 조절 기능들 써봤는데 효과가 없었음:
Extra High Reasoning (기본값):
--chat-template-kwargs '{"reasoning_effort":"xhigh"}'
Medium Reasoning:
--chat-template-kwargs '{"reasoning_effort":"medium"}'
Low Reasoning:
--chat-template-kwargs '{"reasoning_effort":"low"}'
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
