r/LocalLLaMA•3개월 전•37•55
20GB VRAM + 64GB DDR5 - Qwen3.6 35B A3B가 여전히 최고의 선택인가요?
20GB VRAM + 64GB DDR5 - Qwen3.6 35B A3B still the best choice?
핵심 요약
20GB VRAM과 64GB RAM 환경에서 코딩 에이전트용으로 Qwen3.6 35B A3B 모델의 적합성과 대안을 논의합니다.
- 하드웨어 구성 — 20GB VRAM eGPU와 64GB DDR5 RAM을 사용하는 노트북 환경임
- 모델 성능 — Qwen3.6 35B A3B가 CPU 오프로드를 통해 고퀄리티 양자화로 코딩 작업에 적합함
- 대안 모델 논의 — Gemma4 MoE나 Ornith 35B 등 다른 모델들의 코딩 성능과 특징을 비교함
- 커뮤니티 의견 — 차기 모델에 대한 기대와 모델별 코딩 능력 차이에 대해 활발히 의견을 나눔
여러분 안녕하세요. 제 하드웨어에 맞는 최적의 설정을 찾고 있습니다. 64GB DDR5 RAM 노트북과 20GB 7900xt eGPU를 사용 중입니다. 주 용도는 로컬에서 pi-coding-agent를 돌리는 것입니다.
지금까지는 Qwen3.6 35B A3B가 CPU 오프로드(MoE)를 사용해 높은 양자화 수준에서 잘 작동하는 유일한 모델이었습니다. Q8을 100k 컨텍스트로 맞추거나, ud-q6kl을 전체 262k 컨텍스트로 돌릴 수 있었습니다. 속도는 좀 느리지만 20tks 이상만 나오면 저에겐 충분히 쓸만합니다.
혹시 비슷한 하드웨어 구성에서 사용 중인 다른 모델이 있나요? 재미있게 써볼 만한 다른 MoE 모델이 있을까요? 아니면 그냥 낮은 양자화로 VRAM에 전부 올리는 방식을 선호하시나요?
