Hipfire 개발 업데이트: AMD 아키텍처 전체 검증 예정 (RDNA 1~4, Strix Halo 및 bc250 포함)

해결할 수 있는지 한번 볼게. MoE 관련해서는 흥미로운 문제네.

난 RX 6750 XT에 Ryzen 5600, 32GB 램 쓰는데 Qwen3.6-35b-a3b로 25 t/s 나옴. CPU offload(--n-cpu-moe 26) 설정 좀 만져봐야 할 듯.

내 커맨드 라인은 이거임: ../llama-rocm/llama-server --model Qwen_Qwen3.6-35B-A3B-Q5_K_M.gguf --n-gpu-layers all --n-cpu-moe 26 --temp 0.6 --top-p 0.95 --min-p 0.00 --top-k 20 --ctx-size 32768 --host 0.0.0.0 --chat-template_kwargs '{"preserve_thinking":true}' --cache-type-k q8_0 --cache-type-v q8_0 --no-mmap --jinja

난 140k 비양자화 캐시를 q8_k_XL로 돌리고 있어서 속도 영향이 클 수밖에 없음.

아, 그렇구나. 난 20 t/s 밑으로 떨어지면 좀 불편해서 양자화 덜 된 모델을 선호함.

어제 하이브리드 써봤는데 27B나 35B 돌리려면 이게 필수라 나한텐 중요했음.