r/LocalLLaMA•3개월 전•345•138
15종의 '전자 쓰레기' GPU로 최신 워크로드 벤치마크를 돌려봤다
I benchmarked 15 "E-Waste" GPUs with Modern Workloads
핵심 요약
저렴한 엔터프라이즈급 중고 GPU를 활용해 최신 AI 워크로드 성능을 테스트하고, 가성비와 활용 가능성을 분석함.
- 가성비 GPU 활용 — P40, V100 등 저렴한 중고 GPU로 홈랩 AI 환경 구축 가능함.
- V100 성능 — T40 대비 뛰어난 가성비와 성능을 보여주며 최적의 선택지로 꼽힘.
- LLM 최적화 — P40이 LLM 구동에 가장 효율적이며, Whisper 작업에는 M60이 탁월함.
- 확장성 및 쿨링 — 여러 장의 GPU를 병렬로 연결해 선형적인 성능 향상을 얻을 수 있음.
지난 1년 동안 GPU coolers랑 custom benchmarking tool을 만들면서 퇴역한 NVIDIA 엔터프라이즈 GPU가 요즘 작업에도 쓸만한지 테스트해 봤다. P100(16GB)은 75달러, V100(16GB)은 200달러도 안 하거든. 헐값에 굴러다니는 X99 제온 메인보드랑 조합하면 홈랩에서 무시 못 할 VRAM 덩어리가 굴러들어오는 셈이지.
다들 소프트웨어 지원 끊겼다느니, 전력 효율 쓰레기라느니 하면서 훈수 두는데, 홈랩에서 그게 무슨 상관이냐? llama.cpp 같은 구형 소프트웨어는 소스 코드 직접 빌드해서 쓰면 그만이고, 전기세 아깝다 싶으면 AI 작업 안 할 때 그냥 꺼두면 그만임.
지난겨울 내내 도커 기반 벤치마크 툴 돌려서 Tesla GPU들(K80, M10, M40, M60, P40, P100, V100, T40) 싹 다 테스트해 봤다. LLM, 컴퓨터 비전, 블렌더, 위스퍼 등등 다 돌려봄.
결과 요약은 다음과 같다:
- V100이 가성비 끝판왕: V100(16GB) 성능 보고 진짜 깜짝 놀랐다. 훨씬 비싼 T40이랑 비벼도 안 밀림.
- LLM은 P100보다 P40: 커뮤니티 정설이 맞더라. 파스칼 아키텍처로 LLM 돌릴 거면 무조건 P40 써라.
- 위스퍼는 M60이 깡패: 음성 받아쓰기 작업 많으면 M60 써라. 50달러밖에 안 하는데 V100보다 잘함.
- 성능은 정직하게 늘어남: 4U 섀시 안에서는 카드 여러 개 꽂아도 성능 저하 거의 없음. GPU 늘리는 만큼 성능도 정직하게 올라감. 다만 세대 섞으면 LLM 돌릴 때 느린 카드가 발목 잡으니까 주의하고.
