r/LocalLLaMA•약 2개월 전•274•230
Qwen3.8-27B가 나왔습니다. 이제 커뮤니티가 더 좋고 빠르게 만들 차례입니다
Alright, We got Qwen3.8-27B. Now it's community's turn to make it more better & faster
핵심 요약
새로 출시된 Qwen3.8-27B 모델의 성능, 메모리 사용량, 추론 방식에 대한 사용자들의 테스트와 분석이 이어지고 있습니다.
- 성능 테스트 — 256K 컨텍스트와 MTP 활용 시의 속도 및 메모리 효율을 검증함
- 추론 방식 변화 — 이전 버전과 달리 DeepSeek R1과 유사하지만 더 투박한 사고 과정을 보임
- 설정 최적화 — VRAM 한계를 극복하기 위한 KV 캐시 양자화 및 파라미터 튜닝 논의
- 모델 비교 — Qwen3.6 대비 개선점과 실사용 시의 토큰 처리 속도 차이를 공유함
뭐 문제 있는 거 없냐?
채팅 템플릿은 괜찮고?
루핑(반복) 이슈는?
추론 과정이 너무 길게 나오나?
이번 모델 MTP 성능은 어때?
그 외에 Qwen3.6-27B랑 Qwen3.5-27B 출시 때 겪었던 문제들 또 뭐 있었냐?
내가 놓친 거 있으면 댓글로 좀 알려줘라.
그리고
- Qwen3.6-27B랑 비교 좀 해줘. 메모리랑 t/s(초당 토큰 수) 통계 위주로.
- 이 모델에 256K 컨텍스트 꽉 채우고, KVCache 양자화 안 하고, MTP까지 다 돌리면 메모리 얼마나 처먹냐? Q4 이상 양자화 기준으로 말이야. 특히 Q8은 32GB VRAM에 들어가는지 궁금하니까 꼭 좀 알려줘라. t/s 통계도 같이 올려주고.
- 창작 글쓰기 성능은 어떠냐? Qwen3.6-27B보다 나음?
