3x3090(2x3090, 1x3090TI)에서 2x5090으로 업그레이드
Updated from 3x3090(2x3090, 1x3090TI) to 2x5090
핵심 요약
3x3090에서 2x5090으로 업그레이드한 홈랩 서버의 성능 향상과 벤치마크 결과를 공유함.
- 하드웨어 업그레이드 — 3x3090에서 2x5090으로 교체하여 성능 향상함.
- 소프트웨어 최적화 — NVFP4 및 speculative decoding을 통해 처리 속도를 높임.
- 벤치마크 공유 — Grafana와 Prometheus를 활용해 모델 성능을 시각화함.
- 중고 판매 계획 — 기존 3090을 개당 2천 달러에 판매할 계획을 밝힘.
홈랩 서버에 있던 RTX 3090 3장을 RTX 5090 2장으로 업그레이드했다. 소프트웨어 업데이트(speculative decoding + NVFP4)까지 곁들이니까 속도 존나 빨라짐.
세팅: llama.cpp (build b11216), Qwen3.8-27B (abliterated, Q8_0) 구동 중.
파란색 = 기존 3090 세팅,
초록색 = 같은 Q8 모델로 돌린 5090 세팅,
청록색 = 5090에서 NVFP4 + speculative decoding 적용한 거.
색맹인 형들을 위해 순서 적어줌: 1 - 3090, 2 - 5090 Q8, 3 - 5090 NVFP4 적용.
"이전" 수치에 대해 한 가지 변명하자면, 3090 3장 중 하나가 다른 두 장보다 느린 PCIe 슬롯에 꽂혀 있어서, 슬롯 조건이 동일한 3x 3090 세팅보다는 성능이 좀 낮게 나왔음.
전체적으로 아주 만족스럽다. 2주 전쯤 5090 가격이 7,500달러까지 치솟았을 때, 완본체 PC 2대를 대당 6,400달러에 샀거든. NVFP4 지원 때문에 5090으로 업그레이드하려고 진짜 오래 기다렸다. 계획은 3090들을 장당 2,000달러 정도에 파는 거임. 그 가격까지 오르려면 2~3달은 더 걸리겠지만, 결국 오를 거라고 본다. 완본체에서 남은 부품이랑 3090들까지 다 팔면 베스트 시나리오로 9,000달러 정도 회수 가능할 듯. 그럼 세금 포함해서 GPU 총비용이 6,000달러 정도 되는데, 이것도 5090 MSRP 생각하면 미친 가격이긴 함.
궁금한 거 있으면 물어보고, 더 돌려봤으면 하는 벤치마크 있으면 말해줘. 바로 해줄게.
