r/LocalLLaMA•15일 전•49•104논쟁
가성비 좋고 VRAM 용량이 큰 최신 GPU 추천 부탁드립니다.
What are the current best retail GPUs for max VRAM at a reasonable price?
핵심 요약
로컬 LLM 구동을 위해 가성비와 VRAM 용량을 고려한 최적의 GPU 선택지를 논의하는 글입니다.
- GPU 선택지 — Radeon AI PRO R9700, Intel Arc Pro B70, RTX 3090 등이 언급됨
- VRAM 중요성 — 로컬 LLM 구동을 위해 높은 VRAM 용량과 대역폭이 필수적임
- 전력 효율 — 최신 카드들은 낮은 전력 소비로 운영 비용 절감에 유리함
- 중고 시장 — 가성비를 위해 중고 GPU 구매가 합리적인 대안으로 제시됨
ChatGPT Plus 구독 끊고 완전히 로컬로 갈아탈까 고민 중인데, 그러려면 일단 품질(이랑 적당한 속도)부터 좀 만족스러운 수준으로 뽑아내야 할 것 같아.
내 4090이 갑자기 픽 죽어버리는 바람에, 더 좋은 거 구하기 전까지는 3070으로 버티는 중이다.
요즘 AI 위험성 어쩌고 하면서 기업들이 떠들어대는 거 보면 좀 수상해. 오픈 소스를 법으로 규제하거나 가격으로 찍어 누르려고 일부러 가격 올리는 거 아닌가 싶거든. 그래서 더더욱 로컬로 완전히 넘어가고 싶어짐.
나 MSI MAG X670E Tomahawk WiFi 쓰는데, 이거 이론상 GPU 3개까지 지원하나?
너라면 어떻게 세팅할 거냐?
p.s. 맥은 홈랩용으로 쓸 때 설정하기 귀찮고 폐쇄적이라 아예 고려 안 함.
edit: 오타 수정
