r/LocalLLaMA•4개월 전•222•105

2x 4060ti에서 Qwen3.6 q4xl 125 tok/s라니 가성비 미쳤네

125 tok/s for Qwen3.6 q4xl on 2x 4060ti is insane perf/dollar

핵심 요약

2x 4060ti 환경에서 Qwen3.6 모델을 구동해 125 tok/s라는 압도적인 가성비를 달성한 사례 공유.

가성비 성능 — 1,000달러 미만으로 32GB VRAM 환경 구축
벤치마크 공유 — llama.cpp 설정 및 모델 구성 정보 공개
기술적 논쟁 — NVFP4 지원 문제와 V100 대비 효율성 토론
품질 이슈 — Q4 양자화의 품질 저하와 Q6 사용 권장 의견

2023년형 32GB VRAM을 1,000달러 미만에, 소비 전력은 약 300와트... 게다가 이 녀석이 2026년형 5,000달러짜리 미니 PC들보다 성능이 더 잘 나옴.

그래서... 다음 질문은 이번 주말에 CUDA 13.3에서 같은 q4xl로 150 t/s까지 쥐어짤 수 있느냐는 거임. 해본 사람 있음?

Edit llamacpp ini/flags:

podman run -d \
 --name llama-qwen36-router \
 --device nvidia.com/gpu=all \
 -v /data/models:/root/.cache/huggingface:ro \
 -v /data/llama_presets:/presets:ro \
 -p 8001:8080 \
 --env NVIDIA_VISIBLE_DEVICES=all \
 --env LD_LIBRARY_PATH=/app:/usr/lib64:/usr/local/nvidia/lib64:/usr/local/cuda/lib64 \
 --ipc=host \
 --restart=unless-stopped \
 ghcr.io/ggml-org/llama.cpp:server-cuda13 \
 --models-preset /presets/qwen36-models.ini \
 --models-max 1 \
 --host 0.0.0.0 \
 --port 8080

그리고 벤치마크에 사용된 qwen36-models.ini - 친구들이 쓰기 편하게 27b는 100k로 낮췄음:

version = 1 
[*] 
n-gpu-layers = all 
host = 0.0.0.0 
port = 8080 
ctx-checkpoints = -1 
mmap = false 
flash-attn = on 
; threads = 16 
; threads-batch = 20 
cache-ram = 2048 
parallel = 1 
batch-size = 2048 
ubatch-size = 1024 
jinja = true 
reasoning = on 
reasoning-budget = 1000 
metrics = true 
load-on-startup = false 

[qwen36-27b-mtp-tensor] 
hf-repo = unsloth/Qwen3.6-27B-MTP-GGUF 
hf-file = Qwen3.6-27B-UD-Q4_K_XL.gguf 
split-mode = tensor 
tensor-split = 0.95,0.95 
ctx-size = 100000 
spec-type = draft-mtp 
spec-draft-n-max = 2 

[qwen36-35b-a3b-mtp-q4xl-mtpOn-Tensor] 
hf-repo = unsloth/Qwen3.6-35B-A3B-MTP-GGUF 
hf-file = Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf 
split-mode = tensor 
tensor-split = 0.97,0.97 
ctx-size = 125000 
spec-type = draft-mtp 
spec-draft-n-max = 2

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•222•105

2x 4060ti에서 Qwen3.6 q4xl 125 tok/s라니 가성비 미쳤네

125 tok/s for Qwen3.6 q4xl on 2x 4060ti is insane perf/dollar

핵심 요약

2x 4060ti 환경에서 Qwen3.6 모델을 구동해 125 tok/s라는 압도적인 가성비를 달성한 사례 공유.

가성비 성능 — 1,000달러 미만으로 32GB VRAM 환경 구축
벤치마크 공유 — llama.cpp 설정 및 모델 구성 정보 공개
기술적 논쟁 — NVFP4 지원 문제와 V100 대비 효율성 토론
품질 이슈 — Q4 양자화의 품질 저하와 Q6 사용 권장 의견

2023년형 32GB VRAM을 1,000달러 미만에, 소비 전력은 약 300와트... 게다가 이 녀석이 2026년형 5,000달러짜리 미니 PC들보다 성능이 더 잘 나옴.

그래서... 다음 질문은 이번 주말에 CUDA 13.3에서 같은 q4xl로 150 t/s까지 쥐어짤 수 있느냐는 거임. 해본 사람 있음?

Edit llamacpp ini/flags:

podman run -d \
 --name llama-qwen36-router \
 --device nvidia.com/gpu=all \
 -v /data/models:/root/.cache/huggingface:ro \
 -v /data/llama_presets:/presets:ro \
 -p 8001:8080 \
 --env NVIDIA_VISIBLE_DEVICES=all \
 --env LD_LIBRARY_PATH=/app:/usr/lib64:/usr/local/nvidia/lib64:/usr/local/cuda/lib64 \
 --ipc=host \
 --restart=unless-stopped \
 ghcr.io/ggml-org/llama.cpp:server-cuda13 \
 --models-preset /presets/qwen36-models.ini \
 --models-max 1 \
 --host 0.0.0.0 \
 --port 8080

그리고 벤치마크에 사용된 qwen36-models.ini - 친구들이 쓰기 편하게 27b는 100k로 낮췄음:

version = 1 
[*] 
n-gpu-layers = all 
host = 0.0.0.0 
port = 8080 
ctx-checkpoints = -1 
mmap = false 
flash-attn = on 
; threads = 16 
; threads-batch = 20 
cache-ram = 2048 
parallel = 1 
batch-size = 2048 
ubatch-size = 1024 
jinja = true 
reasoning = on 
reasoning-budget = 1000 
metrics = true 
load-on-startup = false 

[qwen36-27b-mtp-tensor] 
hf-repo = unsloth/Qwen3.6-27B-MTP-GGUF 
hf-file = Qwen3.6-27B-UD-Q4_K_XL.gguf 
split-mode = tensor 
tensor-split = 0.95,0.95 
ctx-size = 100000 
spec-type = draft-mtp 
spec-draft-n-max = 2 

[qwen36-35b-a3b-mtp-q4xl-mtpOn-Tensor] 
hf-repo = unsloth/Qwen3.6-35B-A3B-MTP-GGUF 
hf-file = Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf 
split-mode = tensor 
tensor-split = 0.97,0.97 
ctx-size = 125000 
spec-type = draft-mtp 
spec-draft-n-max = 2

주요 댓글

r/localllama

사용자들은 로컬 LLM 구동의 가성비와 성능을 높게 평가하며, 데이터 보안을 위해 클라우드 대신 직접 호스팅을 선호하는 경향을 보이고 있습니다.

작성하신 글이 인기를 얻고 있어서 저희 디스코드에 소개되었습니다! 한번 확인해보세요! https://discord.gg/PgFhZ8cnWW 기여에 대한 보상으로 특별 플레어도 드렸습니다. 게시물 감사합니다! 저는 봇이며 이 작업은 자동으로 수행되었습니다.

실제로 쓸만한 걸 만들어보려고 프로젝트 하나 돌려보는 중임. Qwen 27b q5로도 간단한 안드로이드 앱이랑 서버 하나 완성하기 벅참. TDD CI 파이프라인 구축도 잘 안 되고. 결과물은 반쯤 익었고 과정은 엉망임. 혹시 네 설정으로 쓸만한 거 만들고 있으면 썰 좀 풀어줄 수 있음? 잘만 돌아간다면 10tps라도 감지덕지임.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

내 생각엔 Qwen3.6 27B를 돌리려고 하드웨어를 사는 건 의미가 없어. DeepSeek V4 Flash가 코딩 벤치마크도 더 좋고 1M 컨텍스트 윈도우를 제공하는데, 100만 토큰 입출력 합쳐서 0.42달러밖에 안 하거든. 지난 30일 동안 Pro랑 Flash 섞어서 썼는데 26달러밖에 안 나왔어. 3090 24GB VRAM을 1300달러 주고 산다고 치면, 본전 뽑는 데 50개월이나 걸려. 구형 하드웨어를 가지고 있다면 계산이 달라지겠지만, 굳이 27B를 쓰면서 30~50 TPS로 고생하는 건 이해가 안 가.

두 가지 이유가 있어... 1. '토큰' 단위로 돈을 낼 때랑 무제한으로 쓸 때랑 내 사용 패턴이 달라져. 2. 난 내가 '상품'이 되는 게 싫어. 그 옵션을 쓰면 내 데이터랑 작업물이 호스트의 지적 재산이 되고 나중에 모델 학습에 쓰이게 되잖아, 안 그래?

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

그렇긴 하지, 솔직히 무제한 사용이랑 0.48달러는 거의 차이가 없긴 해. 하지만 상품이 된다는 점에는 동의해. 프라이버시 때문에 오프라인으로 유지해야 한다면, 난 Qwen3.6 35B + MTP를 쓸 것 같아. 400GB/s 메모리 대역폭만 확보되면 최소 100 TPS는 나오거든. SWE 벤치마크도 Qwen 27B Q4랑 비슷한 걸로 알고 있어. 그러고 나서 밤사이에 Qwen 27B Q6로 코드 품질 검사를 돌리는 거지. 근데 그러려면 B70이나 R9700이 필요해서 결국 비용 문제는 똑같아지겠지만.

당신의 데이터와 작업물이 호스트의 지식재산권이 된다는 점이 문제지. 많은 사람들이 직접 호스팅을 선택하거나 필요로 하는 이유이기도 하고. 내 일상적인 코딩 작업의 50~80% 정도는 Qwen 3.6과 Open WebUI 조합으로 5월 한 달 동안 프론티어 모델을 대체했어. 이건 단순히 5억 달러어치 토큰을 태우지 않고 Hermes로 스네이크나 테트리스를 돌리는 재미의 문제가 아니라, 민감한 지식재산권을 다룰 때 유용한 개인용 LLM을 확보하는 문제라고.

그 옵션을 쓰면 당신의 데이터와 작업물이 호스트의 지식재산권이 되고 향후 모델 학습에도 쓰이게 되는 거 아냐? 그건 모델을 누가 서비스하느냐에 따라 다르지. API를 통하면 대부분의 서구권 연구소는 데이터를 학습에 쓰지 않아. 여러 이유가 있거든. Kimi는 개인정보 처리방침에 데이터를 학습에 쓰겠다고 명시하고 있고. 만약 Kimi가 데이터를 학습에 쓰지 않는 제3자를 통해 제공된다면 그건 또 다른 문제겠지. Deepseek의 구체적인 정책은 모르겠지만, 제3자가 호스팅하는 경우도 보통은 비슷해.

DeepSeek 쓸 때 어떤 코딩 하네스(harness) 사용해?

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

Claude 데스크톱이랑 Hermes

Qwen3.6 27B를 돌리는 데 필요한 하드웨어랑 Deepseek V4 flash는 요구 사양이 완전히 다르잖아. 네 주장은 사실상 '클라우드에서 돌릴 수 있는데 왜 굳이 직접 호스팅하냐?'는 건데, 맞는 말이긴 하지만 로컬 모델 구동을 전문으로 하는 이 서브레딧에서 환영받을 의견은 아니지.

프라이버시가 문제가 아니라면 성공적인 선택이 될 수 있지.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

하드웨어에 따라 다르겠지만, 27B 모델에서 Q6는 꽤 괜찮더라고. 난 개인적으로 빌드할 때는 Q8에 Q8 KV 캐시를 쓰고, 계획 세울 때는 Gemma 4 26B Q8을 써. '유용한 프로젝트'를 위해 이 둘을 같이 쓰니까(물론 내가 가이드하면서), 엉망이었던 내 인프라 전체를 IaC로 전환하는 데 도움이 됐어(Terraform 파이프는 Claude가 직접 만들었지만). 오늘 아침에는 내 Forgejo 스택을 위한 새로운 Forgejo 러너를 빌드하고 설정까지 마쳤어.

그 모델들을 어떤 하드웨어에서 돌리고 있는 거야? 난 27~35B 범위 모델에서 Q5 이상으로 넘어가면 VRAM이 부족해서 감당이 안 되던데.

128K Q8 KV 캐시를 쓴 Q8 모델은 7900XTX 두 장으로 여유 있게 돌릴 수 있었어. 지금은 7900XTX 세 장에 256K Q8 KV 캐시를 쓴 Q8 27B 모델을 돌리는 중이야. 내 설정은 한 번에 모델 하나, 슬롯 하나만 돌리도록 설계됐거든. 그래서 Gemma 4를 같이 쓰려면 모델을 새로 불러와야 해서 지연 시간이 좀 생겨(지금은 모델이랑 컨텍스트 불러오는 데 몇 분 걸려). P40도 몇 장 있는데 이것도 활용하고 싶지만 성능이 좀 별로라...

최소 Q6는 써야 하고 KV 캐시 양자화도 하지 마. 그래야 결과물 품질이 엄청나게 좋아져. 안 그러면 모델이랑 계속 싸우게 될걸.

원문r/LocalLLaMA