DeepSeek V4-Flash (284B MoE) 2x RTX 3090 + 중고 쿼드 제온 DDR4 서버에서 33 tok/s(단일) / 68 tok/s(합산) 달성 — 전체 구성

¹ 애플이 2026년 3월에 512 GB M3 Ultra 옵션을 없애고 5월엔 256 GB까지 날려버림. 지금은 96 GB가 한계다. ² 출시가 3,999달러에서 오른 건데, DRAM 가격 때문이라고 대놓고 명시함.

통합 메모리(Unified-memory) 박스는 좁은 풀에서 대역폭을 땡겨오는 방식이다. 반면 4소켓 서버는 노드당 대역폭은 낮아도 거대한 풀을 쓸 수 있다. 4개의 메모리 컨트롤러가 병렬로 돌아가니까. 토큰당 284B 파라미터 중 13B 정도만 활성화되는 희소(sparse) MoE 모델에선, 결국 용량이 깡패다.

추론 플랫폼

Lvllmds4-x v2.3.8 — guqiong96이 만든 SM80+ DeepSeek V4 특화 버전이다. vLLM 포크(베이스: yhfgyyf/vllm-deepseek-v4-sm89)에 lk_moe v2.3.1 CPU-GPU 하이브리드 MoE 엔진을 얹어서 시스템 RAM에서 NUMA 기반으로 전문가 연산을 처리한다. GitHub 릴리즈에 있는 cp312 휠 파일로 바로 설치했고, 컴파일할 필요도 없다.

모델

• DeepSeek V4-Flash-0731 · 총 284B / 활성 13B MoE · 공식 safetensors, 156 GB (48개 샤드)
• 양자화 인식 학습(Quantization-aware trained) — 라우팅된 전문가들(파라미터의 약 96%)이 네이티브 MXFP4로 들어있다. 재양자화 같은 거 안 했다. FP8 리니어는 웨이트 전용으로 돌리고, 활성화 함수는 BF16, KV 캐시는 fp8_ds_mla를 쓴다.
• sm_86 트릭: Ampere에는 네이티브 FP8/FP4 연산이 없어서, 이 포크는 모든 걸 Marlin 웨이트 전용 커널(MXFP4 MoE 백엔드 + MarlinFP8 리니어)로 돌린다. Blackwell 시대 체크포인트를 2020년형 GPU에서 돌리는 비결이다.
• DSpark 추측 디코딩(speculative decoding) (체크포인트에 내장, 5개 드래프트 토큰) — 단일 스트림 속도의 핵심이다.

하드웨어 (전부 중고/이베이급)

• Dell PowerEdge R940 · 4× Xeon Platinum 8268 (96코어/192스레드, Cascade Lake, AVX512-VNNI, AMX 없음)
• 768 GB DDR4-2933 (24× 32 GB, 소켓당 6채널, 4개 NUMA 노드)
• 2× RTX 3090 24 GB (sm_86), 둘 다 PCIe x16, TP=2
• 모델 저장용 NVMe + SATA SSD

현재 이베이 시세 (2026년 8월 기준): 96코어 R940에 128 GB 램 달린 게 2,000~2,800달러, 512 GB는 3,800달러 정도, 768 GB는 7,600달러쯤 한다. 여기에 중고 3090 두 장 값으로 2,200~2,600달러 추가하면 된다.

돌리는 데 768 GB까지는 필요 없다. 인스턴스 하나당 170 GB 정도 먹고, --membind로 고정하면 단일 NUMA 노드에 들어가야 하니까 512 GB(노드당 128 GB)가 사실상 총 6,000달러 정도의 시작점이다. 램 더 꽂는 건 속도가 아니라 인스턴스 개수를 늘리는 거다. 22개에서 24개 DIMM으로 늘려봤자 처리량은 5% 정도 올랐는데, 이건 오차 범위 수준이다.

서빙 중 리소스 점유율

• VRAM: 카드당 6.6 GB (웨이트 + KV) (24 GB 중 21.6 GB 사용) — GPU 점유율은 약 25%
• 시스템 RAM: 인스턴스당 약 170 GB (전문가들은 DRAM에 상주, lk_moe AVX512-VNNI 커널이 CPU로 스트리밍)
• 전력 (iDRAC/Redfish + nvidia-smi 측정): 디코딩 시 본체 약 1,000 W, 아이들 시 435 W. GPU는 평균 136~145 W(피크 189 W)밖에 안 먹는다. 3090 두 장 전력 제한을 350 W에서 250 W로 걸어봤는데, 처리량은 1 tok/s도 안 변했다. 제한이 아예 안 걸린다는 소리다. 전력 소모의 95%는 DRAM에서 전문가 데이터를 스트리밍하는 96개 Xeon 코어 몫이다. kWh당 0.13달러 기준으로 24시간 풀가동해도 한 달에 94달러 정도고, 실제 사용량 따지면 훨씬 적게 나온다.

결과

128토큰 완성, temp 0, 최대 컨텍스트 22K, max-num-seqs 4, 추측 깊이 5.

(범위는 콜드 상태 첫 패스 → 프리픽스 캐시 적용된 웜 상태.)

비교하자면, 같은 박스에서 ik_llama.cpp 하이브리드로 같은 모델 돌리면 단일 스트림 12.2 tok/s 나온다. 추측 디코딩 + Marlin 조합이 같은 하드웨어에서 단일 스트림 2.6배 / 총 처리량 약 3배 더 빠르다.

별 효과 없었던 것들

도움 될 줄 알았는데 아니었던 거 3가지:

• DIMM 2개 추가 (22→24, 노드당 192 GB 대칭): 5% 정도, 오차 범위 내
• GPU 전력 제한 350→250 W: 효과 없음
• GPU 추가: 도움 안 됨. 어차피 24 GB 중 6.6 GB만 쓰고 점유율도 25%라 의미 없음.

셋 다 똑같은 곳을 가리키고 있어. 병목은 CPU 쪽 DRAM 대역폭이야. 이 작업은 Ampere를 더 때려 박는 게 아니라 DDR5랑 AMX(Sapphire Rapids)가 필요해. 이거 하려고 견적 짜는 중이면 그래픽카드 말고 메모리 채널에 돈 써라.

삽질하느라 시간 다 날린 포인트

1. TileLang은 런타임에 커널을 JIT 컴파일하는데, 이때 시스템에 깔린 nvcc를 아무거나 잡아버려. 시스템 CUDA 12.0 쓰면 람다 구문 에러 뜨면서 난리 난다. CUDA_HOME을 venv 안에 있는 pip 번들 툴킷(site-packages/nvidia/cu13)으로 잡아줘. 시스템 CUDA는 설치할 필요도 없어.
2. pip으로 받은 CUDA 패키지끼리 버전이 안 맞음 (nvcc 13.2인데 런타임 헤더는 13.0임) → CCCL "컴파일러랑 툴킷 헤더 호환 안 됨" 에러 뜸. 해결법: pip install nvidia-cuda-runtime==13.2.86 nvidia-cuda-nvrtc==13.2.86 때려 넣으면 됨.
3. 문서에도 없는 DSpark 제약 사항, 몸으로 때우면서 알아냄: max_num_seqs × (spec_tokens + 1) 값이 32 이하여야 함. 안 그러면 엔진 웜업할 때 텐서 사이즈 안 맞는다고 죽어버린다. seqs=4에 spec=5가 딱 적당해. 배치 사이즈 키우고 spec 줄여봤는데, 어디서든 다 느려지기만 하더라.
4. MiniMax나 다른 DeepSeek가 아닌 MoE 모델들은 이 포크 버전에서도 여전히 범용 LvLLM의 sm_86 vectorized_gather_kernel 어설트 에러 터짐. Ampere 수정 사항은 DS4 경로에서만 먹히거든.

댓글로 전체 실행 명령어랑 venv 레시피 공유해 줄게. 필요하면 말해.