드디어 성공했다! 듀얼 GPU로 48GB VRAM llama-cpp 서버 구축 (R7900 + 7800XT)

데이터 없음

Qwen이랑 mtp 켜니까 초당 30 토큰 정도 나오네. 엄청 빠른 건 아니지만, 큰 dense 모델 돌릴 때 훨씬 정확해.

[이미지] 너는 나보다 더 빠른 속도 나와야 정상이야. 네 GPU들이 내 것보다 더 좋거든. 나는 이거 쓰려고 직접 바이너리 빌드했어. 여기 올려뒀어: https://github.com/Minerest/llama.cpp_RDNA2_FlashAttnEnabled/releases/tag/mtp-fa-workaround

추론용으로는 괜찮아 보이네. R9700 성능이 대략 4070이랑 비슷하거든. 근데 이미지나 비디오 작업에서는 CUDA보다 밀리긴 함.

ROCm이 Vulkan 백엔드보다 빠르나요?

Vulkan 쓰면서 문제가 좀 있었는데, 다른 변수들 때문이었을 수도 있어. 나처럼 AMD GPU 두 개를 섞어서(RDNA4/RDNA3) 쓰는 환경에서는 Vulkan이 유일한 선택지인 듯. 속도 면에서는 둘 사이에 차이를 못 느꼈어(tok/sec 기준). 차이가 나더라도 10% 미만이었을 거야.

Vulkan이 훨씬 낫지. ROCm은 진짜 쓰레기임.

저는 RTX Pro 4000이랑 Radeon R9700을 같이 돌리는 데 성공했어요! Vulkan이 꽤 괜찮긴 한데, 정말 빠르지는 않아요. 그래도 가끔 24GB VRAM이 더 필요할 때 유용하게 쓰고 있습니다.

와, 이거 진짜 흥미롭네요! 그냥 그래픽카드 두 개 꽂고 llama.cpp 텐서 병렬 플래그 설정하는 것 말고 따로 추가로 설정한 게 있나요? 아니면 돌아가게 하려고 뭔가 우회적인 방법을 썼나요?