DeepSeek V4 Flash 0731, 독립적인 공개 하네스 실행(445회 시도)에서 Terminal-Bench 2.1 82.7% 기록

레시피는?

11.5k 정도면 납땜 실력이 좋다는 가정하에 48GB 메모리 키트를 쓴 4090 4장으로 구성할 수도 있음 https://gpulab.net/48gb-info

아니면 내 개인적인 방식(1년 전쯤 샀던 것 같은데)인 strix Halo + rtx6000 Blackwell을 oculink로 연결해서 DS4 flash 0731 q8에서 50tg/700pp 뽑는 방법도 있음. 중고가로 치면 rtx는 이베이에서 6k, z13은 2.2k 정도면 가능할 듯(노트북이 미니 PC 버전보다 쌈).

마지막으로 mi50은 개당 200~500달러니까 6개 사면 1200~3000달러로 ds4 돌릴 수 있음. 난 내 거에 glm5.2 Q4xl 돌려서(16x에서 16tg/100pp) 속도는 잘 모르겠음…

몇 달 전만 해도 48GB 4090이 4700달러 넘었어. 11000달러에 4개를 산다는 건 말도 안 되지.

아니, 여기 사람들 반응 왜 이렇게 이상하냐. 그래, 이 모델을 로컬에서 돌리는 다른 방법들도 있고 흥미로운 건 맞는데, 비용 측면에서 보면 미국에 있으면 내일 당장 8천 달러에 Asus 박스 두 개 연결해서 쓸 수 있거든. 지금 당장 이 가격에 이 정도 성능 내는 다른 방법은 없음.

내 말은, 나도 48gb 4090 4개 샀고 팬이긴 함. 그냥 가격이 더 비싸다는 거지. 말도 안 되게 비쌌지만 지금은 5000pp/200tg 나오니까. 추론 가능한 메모리 용량이랑 속도 고려하면, 공짜 점심은 없다는 게 정답임. 시장은 아주 효율적이지.

완전 동감. 네 셋업 진짜 쩐다. 난 Asus ascent 두 개 가지고 있는데(가격 오르기 전에 사서 총 7천 달러 정도 씀). 내 사용 목적이랑 예산에는 딱이라 아주 만족함.

근데 사람들이 Spark에 대해 유독 이상하게 구는 게 좀 피곤함. NVIDIA를 싫어하는 건 이해하고, 처음에 과대광고하고 성능 제대로 안 나온 것도 맞는데, 몇 개 연결하면 진짜 쓸만한 작은 박스들이거든. 이제 그만 좀 억까했으면 좋겠음. 여기 원래 댓글이 '두 개의 Asus ascent는…

7천 달러라니 진짜 부럽다… 지금 내가 찾을 수 있는 제일 싼 게 1TB 두 개에 8천 달러고, 4TB는 1만 5천 달러까지 가던데??!!! DGX Spark는 4TB 두 개에 1만 2천 달러고… 뭐 어쨌든 난 Mac 두 대로 적당한 속도로 돌리고 있으니까 아마 기다려 봐야지…

맞아, 아마존에 지금 8천 달러 딜 있는데 꽤 괜찮은 듯. 난 4TB 하나 1TB 하나 쓰는데(아주 잘 돌아감). 지금은 전문직 할인 받으면 꽤 싸게 살 수 있긴 함(고등교육 기관에서 일해서).

아, 다른 댓글에서 m5Max 쓴다고 했었나? 그거 진짜 개쩔지, 근데 내가 쓰기엔 너무 비싸서. 난 작은 거 돌릴 때 128gb m3max 쓰는데 이것도 아주 훌륭함.

음, 난 임상 연구를 해서 민감한 의료 정보 때문에 셀프 호스팅이 필수야. API를 통한 모델 성능 저하 걱정도 안 해도 되고. 비행기 탈 때 쓰려고 z13 128g도 가지고 있지(DS4 Q2보다는 Qwen 27b를 더 선호하지만). 우리 모두 각자의 길을 가는 거지 👍