r/LocalLLaMA•4개월 전•18•8

GTX 1060 6GB에서 qwen3.6-35b-a3b-mtp 구동하기

qwen3.6-35b-a3b-mtp running on GTX 1060 6GB

핵심 요약

10년 된 워크스테이션과 GTX 1060으로 최신 LLM을 실사용 가능한 수준으로 구동한 사례.

하드웨어 사양 — 10년 된 Dell T5810과 GTX 1060 6GB 환경에서 구동함.
구동 설정 — LMStudio를 사용하여 MTP 및 MOE 레이어 오프로드 설정을 최적화함.
성능 결과 — 프리필 130~150tps, 디코드 16tps로 챗봇으로 쓰기에 충분함.

10년 된 Dell T5810 워크스테이션(32GB DDR3 메모리, E5-2698v3 16코어 32스레드)과 예전에 채굴용으로 쓰던 GTX 1060 6GB(이미 본전은 진작 뽑음)를 가지고 있습니다. 윈도우 환경에서 LMStudio를 사용해 모델을 구동하는 데 성공했습니다. 설정은 다음과 같습니다.

Model: unsloth qwen3.6-35B-a3b-MTP-GGUF UD Q4_K_XL

Ctx length: 131072

GPU offload: 41

CPU threadpool size: 16

Max concurrent: 4

Number of experts: 8

Number of MOE layers offloaded to CPU: 41

MTP max draft: 3

KV quantization: both Q4_0

prefill 16k: about 130-150tps

decode 4k: about 16tps

챗봇으로 쓰기에 아주 좋습니다.

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•18•8

GTX 1060 6GB에서 qwen3.6-35b-a3b-mtp 구동하기

qwen3.6-35b-a3b-mtp running on GTX 1060 6GB

핵심 요약

10년 된 워크스테이션과 GTX 1060으로 최신 LLM을 실사용 가능한 수준으로 구동한 사례.

하드웨어 사양 — 10년 된 Dell T5810과 GTX 1060 6GB 환경에서 구동함.
구동 설정 — LMStudio를 사용하여 MTP 및 MOE 레이어 오프로드 설정을 최적화함.
성능 결과 — 프리필 130~150tps, 디코드 16tps로 챗봇으로 쓰기에 충분함.

Model: unsloth qwen3.6-35B-a3b-MTP-GGUF UD Q4_K_XL

Ctx length: 131072

GPU offload: 41

CPU threadpool size: 16

Max concurrent: 4

Number of experts: 8

Number of MOE layers offloaded to CPU: 41

MTP max draft: 3

KV quantization: both Q4_0

prefill 16k: about 130-150tps

decode 4k: about 16tps

챗봇으로 쓰기에 아주 좋습니다.

주요 댓글

r/localllama

오래된 하드웨어에서 Qwen 모델을 구동하려는 작성자에게 사용자들은 VRAM 최적화와 병목 현상 해결을 위한 구체적인 파라미터 설정 팁을 공유하며 긍정적인 반응을 보임.

MTP 없이 시도해보고 CPU로 오프로드하는 레이어를 좀 줄여보세요. 지금은 KV, 비전 타워, 드래프트 스택이랑 오버헤드 정도만 1060이 쓰고 나머지는 전부 CPU에서 돌아가고 있거든요.

u/nickless07 님, 혹시 적절한 파라미터 찾는 법 좀 알려주실 수 있나요? 저는 AMD 7840U에 iGPU 780m + dGPU 7700S(8GB VRAM) + 64GB DDR5 쓰고 있는데, 27 t/s 이상이 안 나오네요. 이 서브레딧에 올라온 다른 수치들 보면 더 잘 나올 줄 알았거든요...

OOM 안 날 때까지 --n-cpu-moe 값 조정해 봐. 남은 VRAM 확인하고 2GB 넘으면 24로 올리고, 500MB 미만이면 그대로 둬. nvidia-smi나 rocm-smi로 확인하고. 지금 설정에서 --threads랑 mmproj(쓰는 경우)가 빠진 것 같은데, 그거 빼면 모델이나 양자화, VRAM 용량 대비 설정 아주 좋아.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

--fit-ctx 32768 --fit-target 100 써봐. llama가 알아서 튜닝해 줄 거야.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

제안 고마워. MTP 끄고 MOE 레이어 36개 오프로드(41개에서 줄임)하니까 decode 18tps 정도 나오네. MTP 켜고 37개 오프로드하니까 19~20tps 나오고. 더 작은 모델(Q4 KS?) 써서 레이어 더 많이 오프로드하는 게 나을 듯. MTP는 여전히 도움 되네.

상황 나름이지... 처음 설정대로면 PCIe 병목 생길걸? KV는 VRAM에, 연산은 CPU에서 하면 토큰마다 VRAM으로 보내서 q8로 양자화하고, 다시 보내서 처리하고 저장하는 과정을 거치니까. VRAM이 훨씬 빠르긴 한데 6GB는 좀 빡세지. 18~20tps면 이미 준수해. KV를 CPU에 올려보거나 아예 GTX 안 쓰는 건 테스트해 봤어? [여기] 더 자세한 내용 있어.

원문r/LocalLLaMA