4x DGX Spark에서 돌려본 DeepSeek V4.1 Flash: Wccftech의 Patrick Moorhead 결과와 비교
DeepSeek V4.1 Flash on 4x DGX Spark: my numbers vs Patrick Moorhead's results via Wccftech.
핵심 요약
홈 서버 환경에서 DeepSeek V4.1 Flash를 구동하며 Wccftech 기사의 과장된 수치와 부족한 기술 정보를 직접 검증함.
- 기술 정보 부족 — Wccftech 기사는 구동 엔진, 설정, 프롬프트 등 핵심 정보를 누락함.
- 메모리 오해 — 기사에서 언급된 476GB는 디스크 용량일 뿐 실제 구동 시 필요한 메모리 요구량과는 다름.
- 성능 최적화 — SGLang 튜닝과 RDMA 설정을 통해 기본 설정 대비 디코드 및 프리필 성능을 크게 향상함.
- 실제 구동 한계 — 4x DGX Spark 환경에서 1M 컨텍스트와 32 슬롯 구동은 재현이 어려움을 확인함.
몇 주 전에 패트릭 무어헤드(Patrick Moorhead)의 4 Spark 셋업에 관한 Wccftech 기사를 읽었어. 며칠 전에 글을 올리려고 했는데, 테스트를 좀 더 해보느라 늦어졌고, 그 와중에 커널이랑 NVIDIA 드라이버 업데이트하고 나서 워크스테이션이 맛이 가버렸거든. 이 글만으로도 충분히 기니까 그건 나중에 따로 다룰게.
처음엔 이 패트릭 무어헤드라는 사람이 직접 벤치마크를 돌린 줄 알고 셋업에 관심이 좀 생겼거든. 근데 정보가 너무 없어서 어이가 없더라. 트윗이나 기사 어디에도 서빙 엔진, 레시피, 설정, 테스트 프롬프트 같은 건 하나도 안 적혀 있었어. 굳이 말하자면 "스택"에 대한 정보가 전혀 없었던 거지.
트윗 원문 첫 번째 사진을 보면 69 t/s가 찍혀 있어. 세 번째 사진은 494 tok/s 피크랑 기사에서 쓴 다른 수치들이 적힌 헤르메스(Hermes) 요약 카드인데, 엔진이나 레시피, 설정값은 아예 없어. 답글에서 무어헤드는 (NVIDIA 직원인) 다른 사람을 언급하면서 이렇게 썼더라. "이거 셋업해 준 @Picomoorhead에게 감사를. 전부 그 친구가 한 거임. 난 자금 지원을 했을 수도, 안 했을 수도 있고." 이게 대체 뭔 소린지.
정보가 너무 부실한 것도 그렇고, Wccftech 기사에서 메모리 요구량을 잘못 보도한 것도 진짜 실망스러워. "메모리 사용량: 476 GB"라고 적어놨는데, 그 476은 디스크상 용량(GiB)이지 모델을 돌리는 데 필요한 메모리가 아니거든. 그래서 내가 직접 수치들을 확인해 보고 내 4 Spark에서 재현이 가능한지 테스트해 봤어.
좀 "빡치는" 요소들
이 과정에서 진짜 열받는 일이 많았어. 글 쓰기 전에 며칠 기다렸지. (인생이 나를 괴롭히는 날들도 있었고.) 기다리길 잘한 것 같아. 안 그랬으면 "실망했다"는 말보다 훨씬 거친 소리가 나갔을 테니까.
메모리 문제
-
DeepSeek-V4.1-Flash는 4x Spark에 여유 있게 들어가지 않아.
-
가중치만 해도 활성화 함수나 KV 등을 제외하고 511 GB야.
-
내 경험상 메모리 할당량을 0.92(Spark당 117GB) 이상으로 잡으면 무조건 뻗거나 멈춰버려.
-
실행 중에 메모리 사용량이 계속 출렁거리니까 그만큼 여유 공간이 좀 있어야 하거든.
시작점
NVIDIA DGX Spark / GB10 포럼에서 전용 스레드를 하나 찾았어. 여전히 개판이긴 했지만, knapcio의 레시피 덕분에 겨우 시작이라도 해볼 수 있었지.
