r/LocalLLaMA•약 2개월 전•36•36

vLLM에서 Qwen3.6 27B + 35B 구동하기 (단일 R9700, gfx1201)

Qwen3.6 27B + 35B on vLLM, single R9700 (gfx1201)

핵심 요약

단일 Radeon R9700 GPU를 사용하여 vLLM 환경에서 Qwen3.6 모델을 최적화하고 벤치마크한 결과입니다.

vLLM 최적화 — 단일 R9700 GPU 환경에서 FP8 및 INT4 가중치를 활용한 설정 공유함.
벤치마크 결과 — 35B MoE 및 27B Dense 모델의 컨텍스트 깊이별 토큰 처리 속도를 측정함.
설정 팁 — vLLM 참조 설정 대비 텐서 병렬 크기 조정 및 speculative tokens 최적화 수행함.
토크나이저 수정 — Avesed 리포지토리의 고정된 패딩/절단 설정이 비전 모델에 미치는 오류를 해결함.

I've been tuning my new Radeon AI Pro R9700, and figured that this would be useful information for people who are trying to optimise their setups. I'm pretty happy with these results and looking forward to Qwen3.8..

Summary below provided by Claude (which helped me configure it to run on my system via podman).

Setup: stilldeadcode/vllm-radiance:0.5.8. Single (not dual) card.

https://hub.docker.com/r/stilldeadcode/vllm-radiance/

https://codeberg.org/StillDeadcode/vllm-radiance/

The reference config shipped with the image is tuned for FP8 weights on 2× R9700 (TP=2). Most of its defaults (AITER attention backend, FP8 KV, --no-async-scheduling, --mamba-cache-mode align, all RADIANCE_* toggles) are correct as-is and don't need touching. Here's what actually differs when running one card with INT4:

Config differences vs. reference

--tensor-parallel-size 1 (no second card)
--gpu-memory-utilization 0.98 (reference band is 0.90–0.97 on dual cards)
num_speculative_tokens=4 on the 27B. Ladder-tested 2/3/4/8 directly against the container (4 arms × 2 loads × 2 reps × 4 depths); 4 wins at every depth by 17–48% over 8.

Model Weights:

https://huggingface.co/Avesed

Weights: Avesed/Qwen3.6-{27B,35B}-INT4-W4A16 (compressed-tensors, group_size 32). The 35B at FP8 simply won't fit one 32GB card at any useful context length.

Checkpoint fix (not an image issue): tokenizer.json in the Avesed INT4 repo ships truncation.max_length: 512 / padding: Fixed(512) baked in from calibration — breaks vision above ~672px. Set both to null.

Model notes

27B: Dense (no MoE), MTP on, num_speculative_tokens=4, 131,072 ctx.

35B: MoE (A3B), MTP off, 262,144 ctx.

Benchmark Results

원문

커뮤니티 목록

r/LocalLLaMA•약 2개월 전•36•36

vLLM에서 Qwen3.6 27B + 35B 구동하기 (단일 R9700, gfx1201)

Qwen3.6 27B + 35B on vLLM, single R9700 (gfx1201)

핵심 요약

단일 Radeon R9700 GPU를 사용하여 vLLM 환경에서 Qwen3.6 모델을 최적화하고 벤치마크한 결과입니다.

vLLM 최적화 — 단일 R9700 GPU 환경에서 FP8 및 INT4 가중치를 활용한 설정 공유함.
벤치마크 결과 — 35B MoE 및 27B Dense 모델의 컨텍스트 깊이별 토큰 처리 속도를 측정함.
설정 팁 — vLLM 참조 설정 대비 텐서 병렬 크기 조정 및 speculative tokens 최적화 수행함.
토크나이저 수정 — Avesed 리포지토리의 고정된 패딩/절단 설정이 비전 모델에 미치는 오류를 해결함.

Summary below provided by Claude (which helped me configure it to run on my system via podman).

Setup: stilldeadcode/vllm-radiance:0.5.8. Single (not dual) card.

https://hub.docker.com/r/stilldeadcode/vllm-radiance/

https://codeberg.org/StillDeadcode/vllm-radiance/

Config differences vs. reference

--tensor-parallel-size 1 (no second card)
--gpu-memory-utilization 0.98 (reference band is 0.90–0.97 on dual cards)
num_speculative_tokens=4 on the 27B. Ladder-tested 2/3/4/8 directly against the container (4 arms × 2 loads × 2 reps × 4 depths); 4 wins at every depth by 17–48% over 8.

Model Weights:

https://huggingface.co/Avesed

Weights: Avesed/Qwen3.6-{27B,35B}-INT4-W4A16 (compressed-tensors, group_size 32). The 35B at FP8 simply won't fit one 32GB card at any useful context length.

Model notes

27B: Dense (no MoE), MTP on, num_speculative_tokens=4, 131,072 ctx.

35B: MoE (A3B), MTP off, 262,144 ctx.

Benchmark Results

지금 같이 볼 만한 글

r/LocalLLaMA•약 19시간 전

GPT-3 오늘부로 서비스 종료

GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.

GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.

667146

Reddit 원문

r/ClaudeAI•약 24시간 전

Claude Opus 3.5 공식 프롬프팅 가이드

Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.

151976

Reddit 원문

r/vibecoding•1일 전

솔직히 난 아직도 이렇게 함.

r/vibecoding 서브레딧에 올라온 프로그래머 유머 밈 재게시물에 대한 반응입니다.

r/vibecoding 서브레딧에 올라온 프로그래머 유머 밈 재게시물에 대한 반응입니다.

30220

Reddit 원문

커뮤니티 전체 보기

원문

Depth	Prefill tok/s	Decode tok/s
4k	~7,800	61.4
16k	~7,700	60.1
50k	~6,040	57.0
78k	~5,120	54.7
100k	~4,580	52.9
150k	~3,690	49.5

Depth	Prefill tok/s	Decode tok/s	Mean accepted len
4k	~1,288	59.6	4.4
16k	~1,345	62.3	4.6
50k	~1,207	59.6	4.5
100k	~1,027	53.7	4.5

주요 댓글

r/localllama

사용자들은 R9700 환경에서 Qwen 모델을 구동하기 위한 스크립트 공유와 하드웨어별 연산 성능 차이에 대해 활발히 논의하고 있습니다.

멋지네! 내 12GB RTX 3060을 교체하려고 RX 7900 XTX랑 R9700 사이에서 고민 중이었거든. 네 데이터를 보니까 R9700이 vLLM에서 훌륭한 결과를 보여줄 게 확실해 보이네. 내 사용 사례에서는 131K 컨텍스트면 충분할 것 같아.

파워 서플라이가 버틸 수 있다면 3060은 그냥 둬라. x4 슬롯에 꽂으면 텐서 병렬 처리가 아니라 파이프라인 방식으로 44g 모델을 돌릴 수 있다. 만약 ROCm이랑 CUDA 둘 다 써서 llama 컴파일하는 게 너무 귀찮으면, llama.cpp 두 개 띄워서 RPC로 돌려라.

동의함, 그렇게 하면 괜찮은 구성이 되겠네. 지금 내 파워가 450와트밖에 안 돼서 어차피 업그레이드해야 함. 850와트짜리 살 생각임. 듀얼 GPU(3060 + 9700) 구성으로 가면 괜찮을 거 같은데. 걱정되는 건 두 번째 PCIe 슬롯임. 물리적으로는 x16 슬롯인데 전기적으로는 PCIe 3.0 x4만 지원해서. 그래서 텐서 병렬 처리는 불가능하겠지만, 파이프라인 병렬 처리로 PP랑 TG 디코드 성능이 전반적으로 향상될 거라 보냐?

난 5070 Ti랑 5060 Ti 16GB(PCIE 4.0 X4 슬롯에 꽂음) 쓰고 있는데 문제 전혀 없음. 다행히 레이어 분할 방식은 PCIE 속도에 영향을 안 받거든.

레이어 병렬 처리는 메모리를 합칠 수 있다는 의미일 뿐임. 이론적인 속도는 더 느린 카드에 맞춰지는데, 그게 전체 설정의 병목 현상을 일으키기 때문임.

대단하네. 난 R9700으로 vLLM을 제대로 돌리는 데 실패했거든. 성능도 별로였고 관련 없는 문제들도 너무 많이 터졌어. 지금 Qwen 27b 속도를 보니까, 난 llama.cpp에서 Q6로 128k 컨텍스트 Q8 돌릴 때 프리필 700 t/s에 44 t/s 나오거든. 프리필 속도가 거의 2배 가까이 빨라진다고 해도 굳이 갈아탈 것 같진 않아.

난 llama.cpp 튜닝에 시간을 꽤 많이 썼어. 몇 주 동안 밤새도록 여러 설정으로 A/B 테스트를 돌린 끝에 나온 벤치마크 결과들이야:

Qwen3.6-27b, llama.cpp, vukan (프리필 & 토큰 생성)

양자화	KV 설정	4k pf/tg	16k pf/tg	50k pf/tg

시작 스크립트 공유해주면 좋겠네. 나도 똑같이 따라 해봤는데 prefill 200-300에 decode 30 정도밖에 안 나와. R9700 쓰고 드라이버도 비슷한데.

vLLM 부팅 로그랑 같이 깃허브에 올려뒀어. https://github.com/zzpanic/qwen3.6-vllm-gfx1201-launchers 미리 경고하자면, 스크립트 주석이랑 설정값들은 Claude가 왜 이렇게 설정했는지 지껄여놓은 헛소리(slop)니까 참고해. 혹시 잘못된 거나 개선할 점 있으면 알려줘.

b70 인텔보다 결과가 안 좋다는 게 참 이상하네...

b70이 int 연산에서는 좀 더 나은데, r9700은 부동소수점 연산이 훨씬 빠름. 이 모델은 int 양자화 모델이고.

원문r/LocalLLaMA

주요 댓글

r/localllama

사용자들은 R9700 환경에서 Qwen 모델을 구동하기 위한 스크립트 공유와 하드웨어별 연산 성능 차이에 대해 활발히 논의하고 있습니다.

난 5070 Ti랑 5060 Ti 16GB(PCIE 4.0 X4 슬롯에 꽂음) 쓰고 있는데 문제 전혀 없음. 다행히 레이어 분할 방식은 PCIE 속도에 영향을 안 받거든.

난 llama.cpp 튜닝에 시간을 꽤 많이 썼어. 몇 주 동안 밤새도록 여러 설정으로 A/B 테스트를 돌린 끝에 나온 벤치마크 결과들이야:

Qwen3.6-27b, llama.cpp, vukan (프리필 & 토큰 생성)

양자화	KV 설정	4k pf/tg	16k pf/tg	50k pf/tg

시작 스크립트 공유해주면 좋겠네. 나도 똑같이 따라 해봤는데 prefill 200-300에 decode 30 정도밖에 안 나와. R9700 쓰고 드라이버도 비슷한데.

b70 인텔보다 결과가 안 좋다는 게 참 이상하네...

b70이 int 연산에서는 좀 더 나은데, r9700은 부동소수점 연산이 훨씬 빠름. 이 모델은 int 양자화 모델이고.

원문r/LocalLLaMA

UD-Q4_K_XL	f16 / f16 @179k	930/62.7	950/57.1	835/45.0	703/37.3
UD-Q4_K_XL + Q8_0 mmproj	q8_0 / q8_0 @262k	892/56.7	909/52.5	794/42.1	66 …