H200 서버 구매 vs 대여 손익분기점 계산해 봤는데, 예상과는 다르네요
I ran the actual break-even math on buying vs renting an H200 box, and it is not where I expected
핵심 요약
H200 서버 8대 구성 시 가동률에 따른 구매와 대여의 경제성을 분석한 결과, 60% 이상 가동 시 구매가 유리함.
- 손익분기점 분석 — 100% 가동 시 14.4개월, 60% 가동 시 24개월 소요됨
- 비용 고려 요소 — 전력, 냉각, 감가상각, 기회비용 및 유휴 시간 포함 필요
- 구매의 장점 — 60% 이상 지속적 가동 시 대여보다 비용 효율적임
- 데이터 보안 — 기업은 ROI를 근거로 온프레미스 구축을 선호하는 경향이 있음
전세냐 매매냐(렌트냐 구매냐) 관련 글들 보면 양쪽 다 자신감 넘치게 떠드는데, 정작 숫자로 제대로 보여주는 놈들은 별로 없더라고. 그래서 우리 결정 내리려고 직접 계산기 두드려봤다. 혹시 도움 될까 싶어 계산 과정 올려두니까, 틀린 거 있으면 지적 좀 해줘라.
8-GPU HGX H200 서버는 대충 $320k에서 $420k 사이인데, 중간값인 $370k 정도로 잡는 게 합리적일 듯.
렌트 쪽을 보면, 9월 18일 기준으로 34개 업체 온디맨드 H200 가격 중간값이 시간당 GPU 하나에 $4.40 정도더라. 가끔 보이는 $2~$3짜리는 스팟 가격에 가까운 거니까 제외하고.
중간값 $370k에 렌트 비용 시간당 $35.20(8개 GPU 합산)으로 계산하면, 하드웨어 본전 뽑는 기간은 대략 이렇다:
-> 100% 가동 시 14.4개월
-> 60% 가동 시 24개월
-> 40% 가동 시 36개월
물론 학습은 몰아서 하고 추론은 꾸준히 돌리는 소규모 팀들이 100% 가동률 유지하는 건 거의 불가능하지.
이건 순수 하드웨어 비교일 뿐이고, 최소한 아래 네 가지는 더 고려해야 함:
전기세랑 냉각 비용 (코로케이션 비용 견적 받아보니까 내가 생각한 예산보다 훨씬 비싸더라)
감가상각 (얼마를 예상하든 반토막 내라. 지난 세대 데이터센터 부품 중고가는 똥값임)
네 시간 (인건비)
노는 시간 (유휴 시간)
난 B3 Labs에서 일하는데, 여기선 NVIDIA GPU 시스템 팔고 호스팅도 하고, 남는 자원 수익화하는 것도 도와줌. 그래서 이런 계산을 해볼 상업적 이유는 충분하지만, 최대한 중립적으로 가정하려고 노력했다.
결론은 2년 동안 가동률 60% 정도 유지할 거면 사는 게 이득이고, 40% 밑이면 빌리는 게 낫다. 그리고 남는 자원을 오프테이크 네트워크에 팔아서 기기 비용을 어느 정도 상쇄할 수도 있고.
다들 실제로 가동률 얼마나 나오는지 궁금한데, 좀 알려주라.
