에이전트 작업용으로 Qwen 3.6 27B 돌리는 형들, Q4_K_M 써도 괜찮을까?

fp8 CPU만으로도 돌아가? 내 셋업은 (별도 머신) 라이젠 5900X에 128GB RAM이고 GPU는 없어. 지금 q4_k_m 돌리고 있는데 작동은 하지만 엄청 느려. 코드 생성 속도가 초당 5~6 토큰 정도 나와.

fp8은 CPU만으로도 돌아가긴 하는데, RAM이 48GB 정도 필요해. 근데 지금 나오는 5~6 토큰보다는 더 느릴 거야.

고마워! 그럼 하드웨어 쪽에서 속도 문제를 해결해야겠네. 이쪽 초보자용 정보가 진짜 부족하거든 (방금 내 셋업 개선 방법 물어보려고 글 썼는데 '카르마 너무 낮음' 때문에 삭제당함 🤷🏼‍♂️)

아, 그거 참 안됐네. 이 서브레딧에도 좀 배려 없는 사람들이 있긴 하지. r/LocalLLM 한번 둘러봤어? 거기 좋은 정보 좀 있어. 내가 너라면 어떻게든 32GB 맞춰서 q6 kv 8 qwen 27b 돌릴 것 같아. 가성비는 엔비디아가 확실히 좋지만, 라데온이 구하기는 더 쉽지.

고마워, 그 서브레딧도 확인해 볼게. '32GB'가 GPU 말하는 거야? 맞아, 내 삭제된 글에 있던 질문 중 하나였어. 사람들 보니까 엔비디아 듀얼로 구성하던데, 16GB 두 개면 가능하겠네. 근데 리눅스에서 엔비디아 드라이버 만지는 거 딱 질색이라, 예전에 rocm으로 기본적인 ML 해본 적 있어서 9070/9060 듀얼로 구성할 수 있을지 궁금하네.

가능함. 나도 리눅스 쓰는데 문제없음. 근데 난 엔비디아 카드 하나 씀. 엔비디아 쓰기 전에 r9700 써봤는데 작업용으론 너무 느렸음. 그래서 '가성비' 계산을 좀 해봤지. 달러당 초당 토큰 생성량이 얼마나 되는지, 프롬프트 처리 토큰은 얼마나 되는지 같은 거. 라데온이 훨씬 쌌는데도 엔비디아가 압도적으로 좋았음. 달러당 효율로 치면 라데온은 절반 수준이었거든. 그래서 난...

나도 똑같은 거 겪었음. 짜증 나게 사소한 부분에서 계속 실패함, 약간 멍청해진 느낌?

난 Native MTP preserved NVFP4 버전 쓰고 있는데, Q4처럼 멈추는 일이 절대 없어서 잘 모르겠네.