가성비 GPU를 사려고 하는데 조언 좀 부탁드립니다.
Planning to get a cheap-ish GPU. Would appreciate some advice.
핵심 요약
700달러 예산으로 로컬 LLM 구동용 GPU를 찾는 작성자에게 VRAM 확보와 V100 활용 등을 추천하는 상황.
- VRAM 중요성 — 로컬 LLM 구동 시 VRAM 용량이 성능의 핵심임.
- V100 추천 — 가성비와 성능 면에서 Mi50보다 V100이 우위에 있음.
- 수입 관세 고려 — 거주 국가의 높은 관세를 고려해 DDP 배송 등을 활용해야 함.
- 하드웨어 호환성 — Flash Attention 등 최신 기술 지원 여부를 확인해야 함.
안녕, 나 예전부터 로컬 LLM 돌려보고 싶어서 돈 좀 모으다가 드디어 가성비 GPU 살 수 있게 됐거든. 예산은 최대 700달러 정도고, 30B 파라미터급 양자화 모델을 적당한 속도로 돌릴 수 있는 GPU를 찾고 있어. Qwen 3.8 27B Q4_K_M 같은 모델을 20 T/s 이상으로만 돌릴 수 있으면 충분할 것 같아.
여기서 타오바오나 알리바바 같은 중국 쇼핑몰이 싸다는 글을 봐서 좀 찾아봤는데, 가격대가 대충 이렇더라고.
Modified RTX 3080 20 GB: 570달러
AMD Mi 50 32GB: 390달러
Modified 2080 Ti 22 GB: 330달러
다들 판매 실적 10건 이상인 셀러들이라 아마 믿을만할 거야. 이거보다 싼 건 죄다 거래 내역 0건인 계정들이라 딱 봐도 사기 같더라고.
지금 Modified 2080 Ti 22 GB를 살까 생각 중인데, 관세랑 배송비 다 합치면 530달러 정도 나올 것 같아. 이거 호구 잡히는 걸까? 아니면 차라리 32GB짜리 AMD Mi50으로 가는 게 나을까? 22GB면 모델 컨텍스트 윈도우가 너무 작을 것 같아서 말이야. 아예 Mi50 16GB 두 개 사서 총 240달러에 맞추는 건 어때? Mi50 32GB를 230달러에 파는 판매 실적 높은 셀러도 찾긴 했는데, 대량 구매 조건이라 최소 5개는 사야 해서 그건 무리거든.
글이 길어져서 미안. 좋은 매물 찾기가 이렇게 힘들 줄 몰랐네. 내가 미국이나 유럽에 사는 게 아니라서 로컬 매물이나 페이스북 마켓플레이스 같은 건 아예 못 보거든. 다들 조언 좀 해주라. 진짜 고맙다.
