r/LocalLLaMA•5개월 전•161•135
도대체 컴퓨팅 비용이 왜 이렇게 난리인 거죠?
What in tarnation is going on with the cost of compute
핵심 요약
GPU 컴퓨팅 비용이 급등하여 개발자들이 프로젝트 진행에 어려움을 겪는 상황을 토로함.
- 컴퓨팅 비용 급등 — H100/B200 등 고성능 GPU 대여료가 시간당 1,000달러를 넘어서는 등 비정상적으로 치솟음.
- 하드웨어 품귀 현상 — RTX 3090 같은 구형 GPU조차 중고 가격이 오르고 물량 확보가 어려워짐.
- 클라우드 대안 모색 — 클라우드 서비스의 불안정성과 비용 문제로 인해 로컬 LLM 환경 구축을 고려하는 사용자가 늘어남.
- 공급망 불안정 — Vast.ai 등 대여 플랫폼의 검증 지연과 인스턴스 강제 종료 문제로 개발자들이 고통받음.
도대체 무슨 일이죠? 서버용 GPU B200 미만은 Vast에서 찾을 수도 없고, Mithril에서도 처음 보는 일인데 지난주에 H100/H200/B200이 시간당 1,000달러를 넘기는 일이 계속 발생했어요! 이 정도면 그냥 RunPod으로 옮기는 게 낫지 않나요? 거기도 그렇게 비싸진 않던데.
진지하게, 학계에서는 감당할 수 없는 가격이에요. 스타트업들은 컴퓨팅 비용 고정하려고 하드웨어를 직접 살 거라고 생각했는데. 도대체 무슨 일이 벌어지고 있는 거죠?
———
수정: 이 글은 localLlama 커뮤니티를 위해 모델을 학습시키고 프로젝트를 개발 중이라 올리는 겁니다. 가격이 내려오기 전까지는 BitNet 파이프라인을 완성할 수가 없네요.
