1만 5천 달러 예산으로 DSV4 Flash 같은 모델을 고성능으로 돌릴 수 있는 GPU 추천 부탁드립니다.
What GPUs will give me GOOD speeds and on DSV4 Flash and similar models, and not have to run a mega quantized version? Budget around $15k-ish.
핵심 요약
1만 5천 달러 예산으로 DSV4 Flash 모델을 원활하게 구동할 수 있는 GPU 구성과 성능에 대한 논의입니다.
- 하드웨어 구성 — 3개 이하의 GPU로 Dell R740 서버에 장착 가능한 최적의 조합을 탐색함
- 성능 목표 — 토큰 생성 40-50 t/s 이상 및 프리필 1000 t/s 이상의 속도를 지향함
- 대안 추천 — DGX Spark 클러스터나 Mac Studio M3/M5 Ultra 활용이 현실적인 대안으로 제시됨
- 기술적 제약 — AMD GPU 사용 시 TP(Tensor Parallelism) 구성의 어려움과 FP4 지원 여부가 주요 고려 사항임
내 홈랩 하드웨어에 15,000달러를 꼴아박을 수 있으면 얼마나 좋을까 싶지만, 아쉽게도 이건 회사 일이다 ㅋㅋ.
제목 그대로 DSV4 Flash(랑 비슷한 급 모델들)를 로컬에서 토큰 생성 속도랑 프롬프트 처리 속도 둘 다 쾌적하게 돌릴 환경을 찾고 있어.
"쾌적하다"는 기준은 대충 생성 속도 40~50+ t/s 이상, 적당한 컨텍스트에서 프리필(prefill) 속도 1000 t/s 이상 정도로 잡고 있음.
그리고 양자화 떡칠된 모델은 쓰기 싫어서 VRAM은 최소 128GB는 확보해야 할 것 같아.
보통은 한 번에 한 명씩 쓰겠지만, 가끔 2~3명이 동시에 붙을 때도 있을 텐데 그때도 너무 버벅대지 않았으면 좋겠네.
지금 고민 중인 옵션은 이거야:
3x AMD MI210 (192 GB)
3x NVidia A40 (144 GB)
혹시 이 카드들로 DSV4 Flash나 Qwen3.8-Flash-Next 같은 모델 돌려본 벤치마크 수치 가진 사람 있어?
클라우드에서 빌려서 테스트 좀 해보려고 했는데, 지금은 죄다 매진이라 구할 수가 없네.
당연히 CUDA 때문에 NVidia를 선호하긴 하는데, 성능 비슷하면 AMD도 충분히 고려할 의향 있음. 144GB보다는 192GB가 훨씬 널널하니까.
Dell R740에 꽂아야 해서 GPU는 3개 이하로 맞추려고 해. 그래야 새로 서버 안 짜고 기존 거 그대로 쓸 수 있거든.
