이번 주 eBay 중고 데이터센터/워크스테이션 GPU 가격, VRAM GB당 가격 순위

전부 즉시 구매가(fixed-price) 기준이고, 단품 카드들이며, 부품용(for-parts)은 제외했다. "low end"는 신뢰할 만한 매물 중 하위 10% 가격을 잡은 거다. 즉, 너무 싸서 사기 같은 거 말고 인내심 있는 구매자가 실제로 건질 수 있는 가격대라는 뜻. 미국 전용(US-only) 컬럼에 있는 "-" 표시는 미국 내 매물이 10개 미만이라는 소리다. $/GB/s는 그냥 low end 가격을 대역폭으로 나눈 값이다.

나도 MI100을 1,100달러 근처에서 한참 눈독 들이고 있었는데... 그것마저 가격이 오르는 모양이다. 9월 초에 8x V100 32GB 서버를 5,400달러에 샀는데, 그 가격은 이제 옛날이야기다. 똑같은 서버가 지금은 OG DGX Station(메모리 제외) 기준으로 11,000달러까지 올랐다. 내가 샀던 인스퍼(inspur) 서버는 9년 된 GPU 8개 박힌 게 지금 13,000달러나 한다. 미친 수준이지. 가격이 빨리 제정신 차렸으면 좋겠는데, 솔직히 그럴 것 같지는 않다.

몇 가지 참고할 점:

- P100, V100 16GB, MI50 16GB는 전부 GB/s당 0.25달러 꼴이다. P40이 VRAM 용량 대비 가격은 싸 보이지만, V100 대역폭의 3분의 1 수준이라 GB/s당 가격으로 따지면 3배 넘게 비싸다. 요즘 사람들이 opus 5.5로 이 카드들용 메가커널 짜고 있는데 생각보다 아주 잘 돌아간다.

- V100 16GB가 GB당 14달러 정도로 표에서 제일 가성비 좋아 보이는데, 최저가 40개 중 38개가 SXM2 모듈이다. 어댑터나 SXM2 서버 살 돈 따로 계산해둬라. 32GB V100 최저가 모델들도 SXM3(DGX-2) 모듈이라 그냥 꽂아서 쓸 수 있는 물건이 아니다.

- MI50 32GB는 ROCm만 잘 따라준다면 3090이랑 비슷한 대역폭에 $/GB는 3분의 1도 안 된다.

- 카드 한 장에 48GB 박고 싶으면 Quadro RTX 8000이 A6000이나 개조 4090 48GB보다 가격이 절반도 안 된다.

- 소비자용이랑 워크스테이션 카드 중에서는 3090이 GB/s당 가격이 압도적으로 제일 싸다. A100 40GB는 GB/s당 가격이 RTX 8000이랑 비슷하다.

- 참고로 미국 판매자한테 사는 게 보통 더 비싼 것도 아니다. P100, V100 32GB, RTX 8000, 3090, A6000은 미국 내 최저가가 전 세계 최저가랑 비슷하거나 오히려 더 싸다. V100 16GB는 20달러 정도 더 비싸고, A100 40GB는 1,200달러 더 비싸다. P40이랑 MI50은 미국 내에 매물이 거의 없다.

전체 데이터랑 카드별 매물(미국 전용 필터 포함)은 여기 있다: https://rackbites.com. 가격은 판매자가 올린 호가 기준이지 실제 거래가가 아니다. 이베이 판매 데이터 API가 워낙 제한적이라 어쩔 수 없다.

수정: CMP 170HX 추가함.

수정2: R9700 추가함.

수정3: 벤치마크랑 기타 유용한 정보가 포함된 전체 빌드 정보는 여기 있다 https://rackbites.com/builds

그래, 추가할게... 이건 눈에 띄는 누락이었네. 특히 200달러에서 1000달러까지 올랐던 게, 전체 80GB, 모든 SM, NVLink를 활성화하는 최신 전압 글리치 뉴스 이후로 지금 얼마가 됐을지 모르니까.