4x 3090 구성에서 업그레이드 경로 고민 중
Upgrade path from 4x 3090s
핵심 요약
4x 3090을 사용하는 사용자가 8x 3090으로의 업그레이드 가치와 고사양 모델 구동 가능성에 대해 조언을 구함.
- 하드웨어 업그레이드 — 4x 3090에서 8x 3090으로 확장 시 192GB VRAM 확보 가능성 검토함.
- 모델 구동 환경 — 27B 모델 이상의 고성능 모델을 효율적으로 돌릴 수 있는 하드웨어 구성 질문함.
- 비용 효율성 — RTX B5000 대비 3090 추가 구성의 VRAM 가성비 비교함.
- 취미용 서버 — 생산용이 아닌 개인 취미 및 코딩용으로 고사양 장비 구축을 즐김.
다들 안녕, 업그레이드 관련해서 조언 좀 구하려고.
지금 3090 4장으로 Qwen 3.6 27B 128K 모델을 풀 프리시전으로 돌리고 있어. 모델은 아주 좋은데, 한 단계 더 올라가고 싶어서 가장 적절한 "중급" 하드웨어 경로를 고민 중이야.
여기서 3090 8장(총 192GB VRAM) 구성하는 거 봤는데, 그 정도 급을 제대로 활용할 만한 더 좋은 모델이 있는지 잘 모르겠어(MiniMax M2.7이나 DSv4 flash 같은 거?). 내가 틀렸을 수도 있지만 Ampere 아키텍처에서 DSv4 돌리는 건 좀 고역일 것 같거든.
RTX B5000도 4200달러+세금 정도로 고려해 봤는데, VRAM 계산해보면 영 가성비가 안 나오는 것 같아. 3090 4장 더 사는 게 4000달러 정도에 96GB VRAM인데, B5000은 48GB밖에 안 되니까.
몇 가지 궁금한 점에 대해 의견 좀 듣고 싶어:
B6000에 1만 달러 이상 쓰지 않고 Qwen 3.6 27B보다 더 좋은 모델을 돌리려면 어떤 구성을 써야 할까?
더 무거운 사양으로 어떤 모델들을 주로 돌리고 있어?
192GB 장비 구축할 가치가 있을까? 더 정확히 말하면, 모델 개발사들이 앞으로 나올 모델에서 이 정도 VRAM 급을 타겟팅하긴 할까?
참고로 하드코어한 프로덕션 용도는 아니야. 그냥 코딩하며 먹고살고, 기기 만지는 거 좋아하고, 이런 장비 조립하는 거 자체가 재밌어서 그래.
지금 오픈 프레임에 4장 더 꽂을 공간은 있어. 8장으로 가면 전력 회로 2개로 나눠서 각 카드당 220W로 전력 제한 걸 생각이야. 8장 구성하면 가장 느린 링크는 PCIe 4.0 x8이 되겠지.
