CDW, RTX Pro 6000 MSRP를 16,000달러에서 19,999달러로 인상

LLM 입문용 빌드 짜고 있는데, 다들 DDR4 잔뜩 박힌 서버나 워크스테이션을 자꾸 추천하네. 괜찮은 소비자용 GPU 몇 개 사는 것보다 진짜로 나은 선택지인가? 알아봤는데 좀 복잡하더라고. 중국에서 리퍼 제품 사야 하고, 미국 리퍼 업체들은 찾아보니까 4~5천 달러 예산을 금방 넘겨버리던데.

아니, 그렇지 않아. 그냥 가지고 놀면서 실험할 간단한 챗봇을 원한다면 그럴 수도 있겠지. 하지만 AI 에이전트가 의미 있는 작업을 수행하길 원한다면, 오직 RAM(특히 DDR4)으로만 돌리는 건 도저히 못 할 짓이야.

진짜 문제는 다들 계속 떠들어대는 토큰/초(tokens/second)가 아니라, 프롬프트 처리 속도야. RAM은 속도가 형편없어서, llamacpp로 4만 토큰짜리 프롬프트라도 처리하려고 하면 끔찍할걸.

양자화된 Qwen 모델을 돌리는 3090 하나가 훨씬 더 많은 선택지를 열어줄 거야…

요즘 아마존에서 리퍼비시 3090 2개 사려면 세금 전으로 2900달러 정도 해. 이베이에서 더 싸게 구할 수 있는 건 알지만, 그런 번거로운 일은 정말 하기 싫거든. 새 B70 2개는 2600달러, 리퍼비시 V620은 500달러 정도 하던데, 너라면 뭐가 제일 나을 것 같아?

나라면 아마 3090을 선택하겠지만, 내 대답은 편향됐을 거야. 왜냐면 난 AI용으로 엔비디아 카드만 써봤거든. 대부분의 프로그램이 그걸 기대하고 커뮤니티도 그걸 잘 아니까. 다른 카드들도 쓸모는 있겠지만, '커뮤니티에서 검증된' 쿠다(CUDA) 방식을 선택하지 않아서 실망하게 될지 아닐지는 확답을 못 해주겠네.

확실히 말할 수 있는 건, 3090 2개를 쓰면 지금 당장은 Q8 Qwen 27b를 돌릴 수 있다는 거야. 더 강력한 걸 돌리려면…

참고로, 내 P40들에서 최신 순정 llama.cpp로 Q3.8 27B Q8_K_XL 테스트를 좀 해봤어. llama.cpp 빌드에 NCCL 설치하고 활성화했지. 각 P40은 x8 gen 3 레인을 써.

150k 컨텍스트 설정하고 P40 2개로 Q3.8 27B를 돌리면, PP는 약 350t/s, TG는 MTP 없이 15.5t/s가 나와. MTP를 쓰면 22t/s까지 올라가고. P40 3개로 같은 테스트를 반복하면 PP는 360t/s, TG는 22.6t/s가 돼.

참고로 x16 gen 4 레인을 쓰는 내 3090들은 MTP 없이 TG 30t/s였어. PP는 약 1100이었고. 그러니까 TG는 절반, PP는 3분의 1 수준이지…

이분법적으로 생각하는 건 그만둬야 한다고 봐. GPU당 수천 달러를 쓰거나 아예 안 쓰거나, 둘 중 하나만 있는 건 아니니까.

GPU 없으면 PP가 끔찍하다는 건 맞지만, 대안이 꼭 3090 한 쌍을 사는 것일 필요는 없어. 나도 3090 몇 개 가지고 있는 입장에서 말하는 건데, 이제 가격이 너무 올라서 대부분 사람들에겐 그림의 떡이야(1200달러 넘어가고 계속 오르는 중).

3090 하나 살 돈이면 512GB DDR4를 살 수 있어. 3090 두 번째 거 살 돈이면 32GB V100 2개를 살 수 있고. 이것저것 짜깁기하는 비용으로…

꼭 수천 달러를 써야 하는 건 아니지 않아? 5060 Ti 16GB 듀얼 구성도 많은 용도에 충분해. 10년 다 된 카드들보다 훨씬 오래갈 거고, NVFP4 소프트웨어 지원도 되고, 전력도 훨씬 적게 먹어. 지금 가격은 잘 모르겠지만, 1500유로(네덜란드, 21% 부가세 포함, 여전히 말도 안 되게 비싸지만!) 아래일걸?

기술적으로는 맞는 말인데, 신형 카드만큼 가격이 가파르게 오르진 않았음.