Qwen3.8-Flash-Next NVFP4 2xDGX Spark 설정: 50t/s 디코드, 2,900t/s 프리필

수치 (TP2, 워밍업 완료된 중앙값, 20개 구조화된 카운트 / 3문단 산문)

삽질 기록 (Dead ends)

1. PIECEWISE cudagraphs는 MTP+TP2 환경에서 디코드 성능을 약 28% 깎아먹음.

2. 같은 트리, 같은 조건에서 그래프 켜고 끄기 비교: 36 vs 50 tok/s. 그래프는 단일 노드 MTP 미사용 디코드 시엔 도움 됨 (+80%, 9→16.5), 근데 TP2에서 MTP랑 같이 쓰면 그냥 손해임. MTP가 이미 그래프가 없애주던 런칭 오버헤드를 다 상쇄해버리거든. 하루 종일 "트리 레벨 MTP 회귀" 잡겠다고 생쇼했는데 알고 보니 설정 자체가 문제였음.

3. 도커는 NCCL을 조용히 TCP 소켓으로 다운그레이드함.

4. 기본 컨테이너는 IB 장치를 못 써서 NET/Socket으로 빠짐 → TP2 프리필 성능이 네이티브의 40% 수준. --privileged 옵션(또는 IB 장치 패스스루)이랑 올바른 HCA 이름이 필요함 — 다음 항목 참고. 네이티브 venv로 돌리면 그냥 RoCE로 잘 잡힘.

5. RoCE 장치 이름은 재부팅할 때마다 안 바뀌고 고정되는 게 아니고, 똑같은 기계끼리도 다를 수 있음

6. (우리 거: 하나는 rocep1s0f1, 다른 하나는 rocep1s0f0으로 잡혀서 동적으로 해결함). NCCL_IB_HCA 하드코딩하면 한쪽 노드에서 조용히 터짐. ibdev2netdev로 열거하고, port-ACTIVE를 니 레일 netdev랑 맞춘 다음, NCCL_DEBUG=INFO로 NET/Socket이 아니라 NET/IB가 뜨는지 확인해라.

7. flashinfer는 반드시 0.6.18 버전 써야 함

8. GB10에서 0.6.17 쓰면 NVFP4 MoE 폴백 커널에서 크래시 남.

9. vLLM의 MoE shuffleInputRowsKernel에 초기화 안 된 순열 OOB 읽기 버그가 있는데, 이게 가짜 CUTLASS status=7 GEMM 실패로 나타남 — 두 줄짜리 경계 가드 넣으면 해결됨 (PR #53896에 이미 반영됨).

코드

코드는 여기: https://github.com/dysangel/vllm/tree/qwen38next-sm121

git clone -b qwen38next-sm121 https://github.com/dysangel/vllm

빌드할 때 CUDA 아키텍처 121, MAX_JOBS=6으로 해라 — 병렬성 더 높이면 Spark 통합 메모리 터져서 OOM 난다.

시작 명령어

헤드 노드 (rank 0):

export VLLM_PLE_MMAP=1 VLLM_PLE_MMAP_WORKERS=64 VLLM_PLE_MMAP_PREWARM=1
export VLLM_PLE_MMAP_DIR=$HOME/ple-table        # internal NVMe copy of the table
export VLLM_PLE_CPU_OFFLOAD=1                    # activates the IPC CPU-worker gather path
export NCCL_SOCKET_IFNAME=<your-rail-if>          # bootstrap only; NCCL finds RoCE itself
export GLOO_SOCKET_IFNAME=<your-rail-if>

python -m vllm.entrypoints.openai.api_server \
  --model <path-to-qwen38-flashnext-nvfp4> \
  --host 0.0.0.0 --port 8086 --load-format safetensors \
  --tensor-parallel-size 2 --nnodes 2 --node-rank 0 \
  --master-addr <head-rail-ip> --master-port 29511 \
  --distributed-executor-backend mp \
  --max-model-len 262144 --max-num-seqs 13 --gpu-memory-utilization 0.85 \
  --no-enable-prefix-caching --enable-chunked-prefill --max-num-batched-tokens 8192 \
  --long-prefill-token-threshold 4096 --enforce-eager \
  --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

워커 노드 (rank 1): 헤드 노드랑 똑같은데 --node-rank 1 --headless 옵션 붙이고, 헤드 노드 띄우고 나서 한 30초 뒤에 실행하면 됨. --enforce-eager 쓴 거는 타협한 게 아니라 이게 제일 빠른 경로라서 그런 거니까 참고하고 (데드 엔드 #1 확인).

젠장, 내 GPU 4개는 아이들 상태에서도 총 60W가 넘는데... 나머지 PC 부품들, 파워 3개, 하이엔드 CPU까지 생각하면 말 다 했죠.