변동성이 큰 시기에 비용 효율적인 하드웨어 찾기
Navigating Cost Efficient Hardware in these Volatile Times
핵심 요약
로컬 LLM 구동을 위해 5,000 AUD 예산 내에서 최적의 GPU 구성(3090, R9700 등)을 고민하는 사용자의 하드웨어 선택 가이드.
- GPU 선택 고민 — 3090 중고와 R9700 사이에서 가성비와 소프트웨어 지원을 저울질함
- 예산 및 용도 — 5,000 AUD 예산으로 DL/ML 학습, 코딩 에이전트, 이미지 생성 등을 수행하고자 함
- 하드웨어 제약 — 기존 스레드리퍼 시스템의 PCIe 슬롯 제한으로 인해 확장성 있는 구성을 고려함
- 통합 메모리 회의론 — 맥 스튜디오 등 통합 메모리 시스템은 가격 대비 성능이 낮아 배제하는 분위기임
어디서부터 시작해야 할지 참 막막하네... 일단 엔비디아 말고 다른 벤더 제품을 썼을 때의 리스크와 리턴부터 짚고 넘어가야겠지?
그래, 나도 지금 LLM이나 이미지 생성 속도, 그리고 소프트웨어 생태계에서 엔비디아가 압도적이라는 건 잘 알아. 다른 벤더들도 소프트웨어 스택 지원이 계속 좋아지길 바라고 있고. 지금 당장 다른 벤더들이 뒤처지는 건 크게 신경 안 써. 가격 문제가 훨씬 더 중요하니까.
"제대로 된" 로컬 추론을 돌리려면 대충 AUD 2000~2500 정도는 잡아야겠더라고. (중고 3090 하나나 3060 두 개, b60 48gb, r9700 32gb 가격대 말이야). 물론 V100 같은 더 구형 아키텍처도 있긴 한데, 이것저것 다 따져보면 결국 비용은 비슷비슷해.
작업은 DL/ML 학습이나 개발 프로젝트를 섞어서 할 생각이야. 그게 아닐 때는 HF 모델 가져와서 코딩 에이전트 돌리고, 이미지 생성도 해보고(그냥 재미 삼아, 영상도 찍먹 해보고 웃고 즐기려고), 아마 파인튜닝이나 디스틸링 쪽도 파볼 것 같아.
그래서 AUD 5k 미만으로 예산 잡고 일단 질러서 직접 부딪혀보려고 하는데, 그렇다고 아무 생각 없이 돈을 낭비하고 싶지는 않거든.
AI한테 물어보는 건 별로 도움도 안 돼. 최신 시장 상황을 제대로 모르니까 일일이 다 수정해 줘야 하고, 소프트웨어 스택 개발이나 발전 상황도 잘 모르더라고.
그래서 집단지성의 힘을 좀 빌려보려고. 로컬 환경 제대로 파보려면 어디에 돈을 쓰는 게 제일 현명할까?
-
가격 안 떨어질 거라 생각하고 그냥 중고 3090 두 개 사서 개당 2k씩 태운다.
-
16gb짜리 여러 개 찾아서 2개 대신 4개를 박는다.
-
인텔 아크의 늪에 빠져서 b60 듀얼로 간다 (48gb긴 한데, 슬롯 하나에 GPU 2개 박힌 꼴이지).
-
AMD 루트 (r9700이 가성비는 제일 좋아 보이는데, 3개월 정도 기다렸다가 새로 나올 10x 시리즈 보고 결정한다).
-
통합 메모리 시스템 (솔직히 지금 시점에선 가성비가 영 별로인 것 같아).
추가: 나 스레드리퍼에 DDR4 램은 썩어 넘치는데, 지금 메인보드가 물리 슬롯이 x16 두 개밖에 안 돼. 이미 엔비디아 GPU 하나 가지고 있긴 한데... 이건 논의의 핵심에서 빼줬으면 좋겠어. 어차피 다른 시스템으로 옮겨서 VRAM 용량 안에 딱 들어가는 모델 서버용으로 돌리면 되니까.
