r/LocalLLaMA•4개월 전•43•106

GPU 가격, 지금 살까 나중에 살까?

GPU Prices. Buy now, or buy later?

핵심 요약

GPU 가격 상승세가 지속될지, 지금 구매하는 것이 현명할지 커뮤니티의 의견을 묻는 질문입니다.

GPU 가격 전망 — 가격 상승세가 지속될지 혹은 거품인지에 대한 논쟁이 이어짐
하드웨어 사양 — 1만 달러 규모의 5090 기반 추론 서버 구축 계획 공유
수요와 공급 — 데이터 센터의 수요가 개인용 시장 가격에 미치는 영향 분석
VRAM 중요성 — 에이전트 워크플로우를 위해 32GB 이상의 VRAM 확보 필요성 제기

커뮤니티 여러분의 의견을 듣고 싶습니다.

GPU 가격 상승세가 멈출까요? 지금의 로컬 추론 열풍이 FOMO와 과대광고 때문일까요? 이런 대중적인 채택이 몇 년간 지속될지, 아니면 장기적인 추세일지 궁금합니다. 6개월만 기다리면 후회하게 될까요? (가격이 계속 치솟을까 봐요). RAM 가격은 잘 모르겠는데... 일시적인 현상일까요?

배경:

2023년 11월에 M3 MBP Max(128GB, 4TB, 16코어 CPU / 40코어 GPU)를 샀습니다. 20TB 외장 메모리를 연결해 데스크탑처럼 사용 중입니다.

매일 약 12개의 크론 작업을 실행하는 5개의 프로덕션 워크플로우를 돌리고 있습니다. (BERT 모델부터 30b LLM까지, 특정 작업을 위해 학습시킨 RSLoRA 어댑터도 포함해서요.)

3개의 에이전트 하네스(커스텀 2개와 Hermes)를 사용 중입니다. 오케스트레이션을 위해 여전히 OpenRouter(glm-5.1/minimax)를 호출하고, 복잡한 코딩 작업에는 Anthropic을 사용합니다.

5090 1개로 시작해서 3개까지 확장 가능하고, Pro 6000과 플러그 앤 플레이가 가능한 장비를 맞출지 고민 중입니다. 하지만 1만 달러는 선뜻 지불하기 어려운 금액이네요.

이 장비가 있으면 프로덕션 환경에서 Qwen3.6-35B-A3B-4bit와 27b-4bit를 서브 에이전트 위임용으로 돌릴 수 있을 것 같습니다. (충분한 KV 캐시를 갖춘 4개의 서브 에이전트 동시 실행).

추론 서버로 헤드리스 구동할 계획입니다:

빌드: 약 1만 달러

AMD Ryzen 9 9950X 4.3GHz 16 Core 170W
64GB (2x DDR5 32GB)
NVIDIA GeForce RTX 5090 32GB
2TB NVMe PCIe Gen5 M.2 SSD
Fractal Design Define 7 XL case
Super Flower LEADEX Titanium 1700W
Asetek 624S-M2 240mm CPU Cooler
Case Fans Upgrade Kit (PWM Ramping)

친절하게 답변 부탁드립니다. lol

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•43•106

GPU 가격, 지금 살까 나중에 살까?

GPU Prices. Buy now, or buy later?

핵심 요약

GPU 가격 상승세가 지속될지, 지금 구매하는 것이 현명할지 커뮤니티의 의견을 묻는 질문입니다.

GPU 가격 전망 — 가격 상승세가 지속될지 혹은 거품인지에 대한 논쟁이 이어짐
하드웨어 사양 — 1만 달러 규모의 5090 기반 추론 서버 구축 계획 공유
수요와 공급 — 데이터 센터의 수요가 개인용 시장 가격에 미치는 영향 분석
VRAM 중요성 — 에이전트 워크플로우를 위해 32GB 이상의 VRAM 확보 필요성 제기

커뮤니티 여러분의 의견을 듣고 싶습니다.

배경:

2023년 11월에 M3 MBP Max(128GB, 4TB, 16코어 CPU / 40코어 GPU)를 샀습니다. 20TB 외장 메모리를 연결해 데스크탑처럼 사용 중입니다.

추론 서버로 헤드리스 구동할 계획입니다:

빌드: 약 1만 달러

AMD Ryzen 9 9950X 4.3GHz 16 Core 170W
64GB (2x DDR5 32GB)
NVIDIA GeForce RTX 5090 32GB
2TB NVMe PCIe Gen5 M.2 SSD
Fractal Design Define 7 XL case
Super Flower LEADEX Titanium 1700W
Asetek 624S-M2 240mm CPU Cooler
Case Fans Upgrade Kit (PWM Ramping)

친절하게 답변 부탁드립니다. lol

주요 댓글

r/localllama

GPU 가격 전망에 대해 의견이 분분하며, 하드웨어 가격은 예측 불가능하다는 의견과 데이터 센터 수요로 인해 가격 하락이 쉽지 않을 것이라는 의견이 대립합니다.

지난 1년간 RAM/스토리지 가격이 4배 가까이 올랐어(https://pcpartpicker.com/trends/price/memory/). 누군가는 시간이 지나면 반전될 테니 기다리라고 하겠지. 또 다른 사람들은(스팀덱 가격 인상 후 사재기한 사람들처럼) 가격이 더 오를 거라고 생각하는 것 같아. 개인적으로는 불매 운동을 하고 싶어. 터무니없이 비싼 가격에도 기꺼이 사주는 호구들이 있는 한 가격은 절대 안 내려갈 테니까.

근데 불매 운동은 효과가 없어. 우리 시장은 너무 작거든. RAM 가격을 올리는 주범은 하이퍼스케일러(데이터 센터)들이야. GN 영상에서도 개인용 컴퓨터 판매량이 급감했다는 내용이 나왔어. 사람들은 이미 게이밍 PC 구매를 멈췄고, 그 시장은 우리 같은 로컬 AI 유저들보다 훨씬 크잖아. 나도 되팔이 가격 불매에는 동의하지만, 이건 수요와 공급의 문제야. 높은 가격은 제조사들이 책정한 거라고.

맞아, 이건 '이런 가격은 못 참지, 난 안 사'라는 관점의 불매에 가깝지 '이걸로 거대 기업의 더러운 방식을 바꾸겠다'는 희망은 아니야. 솔직히 PC 매니아 시장은 붕괴하고 있는 것처럼 보여(https://www.youtube.com/watch?v=zyQwAhppWj8). 내가 지갑을 닫아서 이 시장을 살릴 수도 없고, 멸종시키겠다고 위협할 수도 없지. 네 말대로 우리는 작은 시장이야. 하지만 AI 탓은 안 해. 매니아용 개인 컴퓨팅이 개발 우선순위에서 밀려난 건 'Attention Is All You Need' 논문 이전부터 시작된 일이니까.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

단기적으로 공급이 수요보다 빠르게 늘어날 거라고 생각함? 난 그렇게 볼 이유가 전혀 없다고 보는데.

공급이 수요를 앞지를 수 있는 한 가지 요인은 전력 제한이야. GPU 주문량을 다 합치면 200기가와트 정도의 엄청난 전력 증설이 필요해. 24시간 내내 지속적인 전력을 공급하려면 기가와트당 최소 10억 달러가 필요한데, 가장 빠르게 구축하는 방법이 태양광 패널과 배터리거든. 이상적인 위치에 1000에이커 정도가 필요한데 1년은 걸려. 가스 터빈은 지금 4년 대기 중이고.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

아무도 몰라. 여러 가능성이 있거든. AI 모델은 이제 지능을 제공하고 있어. 이건 절대 줄어들지 않을 가치지. 달러 가치는 계속 떨어질 수도 있고. 전쟁이 터져서 AI 칩 공급이 끊길 수도 있고. AI 자본 투자가 기업들이 채택하기엔 너무 과도한 자본이었다는 걸 깨달을 수도 있지. 고객이 없으면 붐은 멈출 거고, 빅테크가 AI 도입을 중단하면 가격은 현실로 돌아올 거야. 그들의 현재 투자 타임라인은...

앞으로 1년 동안 하드웨어 가격이 어떻게 될지는 아무도 몰라. 안다고 주장하는 놈들은 다 헛소리하는 거야. 그래도 말하자면, 에이전트 설정에는 32GB VRAM이 한계가 될 거야. 내 경험과 테스트에 따르면 Qwen은 Q4보다 높은 양자화로 돌리는 게 좋거든. 그러니까 더 높은 양자화를 고려해서 예산을 짜. 48GB VRAM을 목표로 하는 게 좋을 거야. 아마 Blackwell GPU나 3090 두 개를 써야 할걸. RAM 비용을 아끼려면 AM5에서 AM4로 바꾸는 것도 방법이야. CPU랑 RAM은 추론 성능에 별 영향이 없거든.

고마워

원문r/LocalLLaMA