r/LocalLLaMA•5개월 전•31•38

Qwen-3.6 14B 및 9B 로컬 코딩용 증류 모델 출시 소식이나 희망이 있을까요?

Any news (or hope) of Qwen-3.6 14B and 9B distills for local coding ?

핵심 요약

6GB VRAM 환경에서 Qwen-3.5 9B를 사용하는 사용자가 더 나은 성능의 3.6 증류 모델 출시를 기대하며 조언을 구함.

하드웨어 제약 — 6GB VRAM 환경에서 Qwen-3.5 9B 사용 시 디렉토리 구조 및 테스트 결과 인식 오류 발생함.
모델 증류 기대 — Qwen-3.6 27B 기반의 9B/14B 증류 모델이 출시되어 저사양 GPU에서도 원활히 작동하기를 희망함.
MoE 모델 활용 — 35B MoE 모델이 저사양 VRAM에서도 효율적일 수 있다는 의견과 함께 CPU 오프로딩 성능 논의가 이루어짐.
프롬프트 엔지니어링 — 모델 자체의 한계보다는 AGENT.md 규칙 설정을 통해 도구 사용 및 테스트 오류를 해결할 수 있다는 조언이 제시됨.

제목에서 알 수 있듯이, 로컬 코딩용 Qwen-3.6 14B 및 9B 증류 모델에 대한 소식이나 희망이 있는지 궁금합니다. 저는 최근에 받은 RTX 1000 6GB VRAM이 탑재된 새 업무용 노트북(요즘 시대에 농담처럼 들리겠지만요)에서 Qwen-3.5 9B를 테스트하고 있습니다(어느 정도 성공적이지만 몇 가지 도전 과제도 있네요). 터미널 코딩 하니스로 pi를 사용 중입니다. Qwen-3.5 9B를 사용하면서 겪고 있는 문제는 다음과 같은 (비교적 드문) 이슈들입니다.

디렉토리/폴더 처리 방식 - 최종 코드/테스트 아티팩트를 위해 비정상적으로 깊게 중첩된 폴더 구조가 생성되는 경우가 종종 있었습니다.
테스트가 성공했는데도 실패로 인식함.

gemini-2.5-flash와 gemini-2.5-flash-lite를 사용할 때는 같은 프롬프트에서 이런 문제가 발생하지 않는 것으로 보아, pi 자체의 문제는 아닌 것 같습니다. pi가 Qwen-3.5의 도구 호출(tool-calling) 기능과 가끔 씨름한다는 보고를 읽었는데, 이는 Qwen-3.6에서 해결된 것으로 보입니다. 그래서 혹시 Qwen-3.6-27B 밀집 모델을 9B나 14B로 증류한 모델이 출시되어 저사양 GPU에서도 사용할 수 있게 될지 궁금합니다.

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•31•38

Qwen-3.6 14B 및 9B 로컬 코딩용 증류 모델 출시 소식이나 희망이 있을까요?

Any news (or hope) of Qwen-3.6 14B and 9B distills for local coding ?

핵심 요약

6GB VRAM 환경에서 Qwen-3.5 9B를 사용하는 사용자가 더 나은 성능의 3.6 증류 모델 출시를 기대하며 조언을 구함.

하드웨어 제약 — 6GB VRAM 환경에서 Qwen-3.5 9B 사용 시 디렉토리 구조 및 테스트 결과 인식 오류 발생함.
모델 증류 기대 — Qwen-3.6 27B 기반의 9B/14B 증류 모델이 출시되어 저사양 GPU에서도 원활히 작동하기를 희망함.
MoE 모델 활용 — 35B MoE 모델이 저사양 VRAM에서도 효율적일 수 있다는 의견과 함께 CPU 오프로딩 성능 논의가 이루어짐.
프롬프트 엔지니어링 — 모델 자체의 한계보다는 AGENT.md 규칙 설정을 통해 도구 사용 및 테스트 오류를 해결할 수 있다는 조언이 제시됨.

디렉토리/폴더 처리 방식 - 최종 코드/테스트 아티팩트를 위해 비정상적으로 깊게 중첩된 폴더 구조가 생성되는 경우가 종종 있었습니다.
테스트가 성공했는데도 실패로 인식함.

주요 댓글

r/localllama

3.6 9B/14B distill 모델을 기다리는 작성자에게 유저들은 35B MoE 모델이 VRAM 효율과 성능 면에서 훨씬 뛰어나다고 조언함.

아니, 안 나올 것 같음. 35B 모델이 있는데 MoE 오프로딩 쓰면 VRAM 적게 먹고 컨텍스트도 꽤 크게 잡을 수 있음. 코딩에도 도움 되고, Rust 데스크탑 앱(Iced)으로 테스트해봤는데 잘 돌아감. 학습 데이터에 없던 Iced 버전도 알아서 찾아내더라. VRAM 적은 환경에서 35B보다 나은 건 기대 안 하는 게 좋음.

35B MoE 모델이 좋다는 건 알겠는데, 35B MoE 모델이면 활성 파라미터가 3B밖에 안 되잖아? 그럼 지식 밀도가 9B나 14B Dense 모델보다 훨씬 낮은 거 아님?

그거 잘못 알고 있는 거임. 지식은 35B만큼 가지고 있는데, 한 번에 활성화되는 파라미터만 3B인 거임.

아, 맞네. 네 말이 맞음.

그래, 안심하라고 말해주자면 35B는 진짜 미쳤음. 9B는 좀 멍청하고, 14B는 덜 멍청하긴 한데 그래도 멍청함. Qwen 3.6 35b a3b UD Q8 K XL 모델을 262k 컨텍스트로 돌리는데 쓸 때마다 감탄함.

하드웨어 뭐 씀? 난 Q6까지 써봤는데 컨텍스트 길어지면 병목 걸리더라. RTX 3090 Ti 쓰고 있음.

5080에 96GB DDR5 씀. MoE 가중치는 CPU에 올리고 나머지는 GPU에 올리는 식으로 돌림. 속도는 정확히 기억 안 나는데 35-40 tok/s 정도 나오는 듯? 방금 확인해봤는데 12k 토큰 시스템 프롬프트랑 툴 써서 35.4 tok/s 나왔고 프리필은 50.7초 걸림.

꼭 그렇지는 않음. 8비트 양자화 기준으로 3B 활성 파라미터면 토큰 하나 처리할 때마다 3GB 데이터를 처리해야 함. 9B Dense 모델이면 9GB를 처리해야 하고. GPU에서는 별 상관없는데, 일반 CPU는 2채널 DDR5 메모리라 RAM이 VRAM보다 10배 이상 느려서 데이터 처리량을 최소화하는 게 중요함.

둘 다 GPU에 다 들어가면 MoE가 더 빠름. 근데 MoE의 추가적인 장점은 GPU에 다 안 들어가도 쓸 수 있다는 거지.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

https://huggingface.co/Tesslate/OmniCoder-9B 이거 써봤음? Qwen3.5-9B 기반임. 3.5 시리즈에는 14B 모델이 없음. 나도 Qwen에서 3.6 9B랑 120B 빨리 내주길 기다리는 중. 허깅페이스에 3.5-9B 기반 Distill 모델 많으니까 잘 찾아보셈.

Qwen3.6 35B3A(q4m) 모델 RTX4070 8GB VRAM 노트북에서 30tok/s 나옴. 이미지 인식이나 캡셔닝 같은 간단한 작업용인데, 27B Dense 모델보다는 멍청해도 작은 모델들보다는 훨씬 나음.

35B 모델은 CPU 오프로드로도 꽤 빠르게 돌아가니까, 9B나 14B 모델은 성능 면에서 굳이 만들 이유가 없을 듯.

댓글 이제 봤네. 근데 3B 활성 파라미터면 9B Dense 모델보다 추론 능력이나 지식이 훨씬 떨어지지 않음? 그리고 CPU 오프로드하면 속도 엄청 느려지지 않나?

3.6 9B나 14B Distill 모델은 아직 없음. 6GB VRAM에 pi 쓰고 있다면 AGENT.md 규칙에 디렉토리 깊이랑 테스트 종료 코드 관련 설정 추가해보셈. 지금 겪는 문제들은 모델 성능 한계라기보다 스캐폴딩 문제일 가능성이 큼.

원문r/LocalLLaMA