r/LocalLLaMA•약 8시간 전•48•26
5400달러짜리 이베이 8x V100 서버, flash-next로 쌩쌩 돌아감
$5400 eBay 8x V100 server cranks on flash-next
핵심 요약
5400달러에 구매한 8x V100 서버의 성능과 운영 환경, 그리고 최신 소비자용 GPU와의 비교에 대한 논의.
- 서버 성능 — 8x V100 구성으로 27B 모델에서 200 tok/s 이상의 속도 달성함.
- 운영 환경 — 높은 전력 소모와 소음 문제로 인해 지하실 설치 및 냉각 대책 강구 중임.
- V100 한계 — FP8/INT8 지원 부재로 최신 추론 최적화에는 다소 아쉬움이 있음.
- 대안 논의 — 전력 효율과 소음을 고려해 RTX 5080 등 최신 소비자용 GPU를 선호하는 의견 존재함.
Opus 5.5로 브링업 해봤는데 결과 존나 탄탄하네. GPU 4개만 써도 이미지 포함해서 KV 120k 정도 뽑힘. 27B TP=4 기준으로 dflash 쓰면 200 tok/s 넘게 나오고, 프리필은 2.5k~3.5k 정도 찍힌다.
둘 다 nvfp4 Nvidia 체크포인트 돌리는 중임. fp16으로 즉석에서 언팩해주는 마법 같은 레포 찾았는데(https://github.com/1CatAI/1Cat-vLLM), 이거 개빡세게 최적화해놨더라.
