r/LocalLLaMA•약 1개월 전•126•52
100달러짜리 GPU로 Qwen 27B 모델을 초당 7.39토큰으로 구동하기
100$ worth of gpu runs qwen 3.8 27b at 7.39 t/s
핵심 요약
100달러 상당의 중고 RX 580 GPU 2개를 활용해 Qwen 27B 모델을 저렴하게 구동하는 방법 공유.
- 저가형 하드웨어 — 100달러 상당의 RX 580 8GB 2개로 16GB VRAM 확보함.
- 모델 구동 성능 — Qwen 27B 모델을 초당 7.39토큰 속도로 구동 가능함.
- 기술적 제약 — 처리 속도가 느리고 입력 토큰이 많아지면 성능 저하가 심함.
- 가성비 대안 — 예산이 부족한 사용자에게는 훌륭한 저비용 솔루션임.
Qwen 27b Q3_K_M
rx 580 8gb 2개(우리나라에선 개당 50달러 정도, 비싸게 쳐도 60달러) 박으면 VRAM 16gb 확보 가능함.
이거 예전에 쓰던 ddr3 메인보드에 GPU 슬롯 2개 있는 거에 물려서 돌렸음(중고로 200달러 정도면 32gb ddr3 램에 워크스테이션용 제온 CPU, 메인보드까지 세트로 구할 수 있음).
최고의 선택지는 아니지만, 그래도 많은 사람이 이 모델을 돌릴 수 있게 해준다는 점에서 의미가 큼. 심지어 시스템 램보다도 싸게 먹힘.
한계점: 처리 속도가 존나 느림(고작 14t/s). 그래서 mtp 모델 돌리는 건 손해고, 입력 토큰 많아지면 진짜 고통받을 거임.
편의성 따지는 놈들한테는 비추천. 하지만 타협하더라도 일단 싸게 돌아가는 게 중요하다면 강력 추천함.
