27b~31b 모델을 위한 하드웨어 선택
Hardware Choice for 27b to 31b models.
핵심 요약
27b~31b 모델 구동을 위해 듀얼 GPU 구성과 단일 고성능 GPU 사이에서 고민하는 사용자의 하드웨어 선택 조언 요청.
- GPU 구성 고민 — 27b~31b 모델 구동을 위해 듀얼 7800xt 구성과 단일 9700xt pro 사이에서 성능과 비용을 저울질함.
- 3090의 위상 — 많은 사용자가 가성비와 성능의 균형점으로 듀얼 3090 구성을 강력하게 추천함.
- 전문가적 조언 — 비즈니스 용도라면 5090이나 RTX pro 시리즈 같은 고성능 하드웨어 투자가 장기적으로 합리적임.
- 대역폭 이슈 — 일부 모델은 메모리 대역폭이 낮아 고성능 모델 구동 시 성능 저하가 발생할 수 있음을 경고함.
27b와 31b 모델들이 꽤 인상적인 수준에 도달했다고 생각합니다.
현재 16GB AMD Radeon 7800xt를 사용 중인데 성능은 꽤 괜찮습니다. 가격은 700달러였고요. 질문이 하나 있습니다.
단일 고성능 카드 대신 듀얼 GPU 구성을 선택했을 때 발생하는 성능 저하를 감수할 가치가 있을까요? 32GB가 유의미한 업그레이드인지, 아니면 9700xt pro에 7800xt를 추가해 총 48GB로 구성하는 게 이 정도 크기의 모델을 돌리는 데 더 현실적인 요구사항일까요?
이 모델들을 돌리기 위해 VRAM을 더 확보하고 싶은데, 16GB 카드 2개를 쓸지 단일 고성능 카드를 쓸지 고민입니다. 비용 차이는 다음과 같습니다.
A)
7800xt를 550달러에 판매.
단일 9700xt pro(32GB)를 1900달러+세금에 구매. 최종 비용 1600달러.
B)
7800xt를 중고 시장에서 550달러에 추가 구매. 최종 비용 700달러 + 550달러.
C)
9700xt pro 추가, 총 가격 1900달러+세금에 700달러 추가.
가격은 결정적인 요소가 아니며, 성능과 비교해 과연 그럴 가치가 있는지 판단하기 위해 차이를 정리한 것입니다.
이 카드들의 대역폭은 동일하지만, PCIe 장치가 하나 더 늘어난다는 점이 다릅니다.
llama.cpp를 잘 쓰고 있지만, vllm에서 듀얼 GPU 구성이 더 잘 돌아간다면 vllm도 고려할 의향이 있습니다.
