8x R9700 시스템 업그레이드

전기세는 그렇게 나쁘지 않아. 이 카드들은 210W나 300W나 프리필/디코드 성능이 거의 비슷하거든. R9700은 원석 같은 존재야. Radiance랑 QFN을 쓰면 아주 훌륭한 결과를 얻을 수 있고, 비교적 적은 투자로 2xR9700을 구성해서 기존의 구형 DDR4 에픽/스레드리퍼나 다른 PCIe 4.0 시스템을 활용할 수 있지.

난 대역폭이 더 낮은(512 GB/s) Radeon Pro V620 8개를 쓰고 있는데, 가격 생각하면 불만 전혀 없음. 5년 전 출시 당시 꽤 강력하다고 평가받던 엔터프라이즈 GPU로 256 GB VRAM을 3000달러 정도에 맞췄으니까. GLM-5.3 Flash 같은 덩치 큰 모델들도 '빠르진 않지만 쓸만한' 수준임. 4-bit에서 routed experts 사용 시 decode 속도 30+ t/s 나오고, prefill은 2000 t/s 정도 나옴. Qwen3.8-Flash-Next는 내가 커스텀한 vLLM 포크를 쓰면 decode 70-100 t/s, prefill 4000-5000 t/s로 미친 듯이 빠름. 거의 실제 provider API 쓰는 느낌임. OP 세팅은 decode가 대략 20% 더 빠를 거고, V620이랑 R9700 사이의 연산 성능 향상 덕분에 prefill도 훨씬 나을 거라 예상함. 전기세도 그렇게 나쁘지 않음. 모든 카드가 동시에 돌아가는 prefill 때 전력을 제일 많이 먹긴 하는데, 그 작업에 시간을 많이 쓰진 않으니까. Decode는 연산을 별로 안 해서 전력 소모도 적음. 그리고 이 카드들은 아이들 상태에서 각각 8와트 정도밖에 안 먹음. GPU 전부 아이들 상태면 LED 전구 8개 켜놓은 거랑 비슷함. 내 듀얼 Xeon 메인보드가 전력 쪽으론 아마 약점일 듯. 아이들 상태에서만 100w는 먹을걸. 나중에 다른 걸로 바꿀까 생각 중이긴 한데, 솔직히 별로 신경 안 씀.