이베이 매물 기준 32GB VRAM 탑재 GPU 가격순 정리 (1600달러 미만, 최신형 위주)

개인적으로 GPU가 INT8이나 INT4 명령어를 지원하는지 포함하는 게 가치 있을 듯. FP8/FP4를 지원하지 않는 구형 카드들도 INT8이나 INT4는 지원하는 경우가 많거든.

예를 들어, 난 언락된 CMP170HX를 몇 개 사용 중인데, 네이티브 INT8 포맷(vLLM with CUTLASS 백엔드)으로 돌릴 때 최고의 성능이 나옴.

실제로 FP16 모델을 돌릴 만큼 VRAM이 충분하지 않은 경우가 많아서 FP16 모델을 돌릴 일은 거의 없을 테니, 낮은 정밀도에서 더 많은 FLOPs를 내는 게 훨씬 가치 있음.

(물론 모델 포맷과 실제 계산에 사용되는 정밀도 사이에 1대1 매핑이 간단하지 않다는 건 알고 있음. 대부분의 추론 엔진은 계산을 수행하기 전에 FP16으로 디퀀타이즈하지만, 일부 수학 연산은 여전히 낮은 정밀도에서 수행될 수 있음)

이 서브레딧 규칙 때문에 게시물에 이미지를 추가할 수가 없네. 대신 차트를 업데이트했으니 여기에 올릴게.

2달 전에 V620을 350달러에 샀는데 미친 가격이었네.

응, 오픈 소스 AI 모델들이 기존의 많은 독점 모델만큼 좋거나 더 나아진 데다가, 당연히 VRAM 대란까지 겹쳐서 VRAM이 달려있고 살아만 있다면 뭐든 가격이 두 배로 뛰고 있는 것 같아. 아이러니하게도 Titan RTX는 가격이 폭등하지 않았어. 몇 년 전에도 800달러 정도였는데 지금도 그 가격대야.

아, 꿀팁 하나 더 있는데, 16GB V100 두 개를 nvlink로 묶으면 32GB 카드 하나보다 조금 더 싸게 맞출 수 있음.