r/LocalLLaMA•5개월 전•136•160

RTX 5000 PRO 48GB에서 Qwen3.6 27B FP8 모델을 200k 토큰으로 80 TPS 구동하기

Qwen3.6 27B FP8 runs with 200k tokens of BF16 KV cache at 80 TPS on a single RTX 5000 PRO 48GB

핵심 요약

RTX 5000 PRO 48GB를 활용해 Qwen3.6 27B FP8 모델을 고성능으로 구동하는 최적의 로컬 환경 구축법을 공유함.

고성능 하드웨어 — RTX 5000 PRO 48GB를 사용하여 양자화 오류를 최소화하고 FP8 가속을 활용함.
최적화 설정 — vLLM 0.20.1과 BF16 KV 캐시를 조합해 200k 토큰 환경에서 80 TPS의 속도를 구현함.
비용 효율성 — 5천 달러 미만의 예산으로 소규모 데이터센터급 성능을 가정에서 구현 가능함.
실제 성능 — MTP=2 설정 시 코드 작성 작업에서 60~90 TPS의 실사용 가능한 속도를 보여줌.

안녕하세요,

24GB 카드에 27B 모델을 억지로 구겨 넣으려고 온갖 양자화 트릭을 쓰는 글들을 많이 봤습니다. 다들 대단한 작업이지만, 결국 양자화된 모델과 양자화된 KV 캐시는 비양자화 모델보다 오류가 훨씬 빨리 누적되고, 이는 에이전트 코딩 성능에 눈에 띄는 영향을 줍니다.

48GB GPU라면 Blackwell 가속 FP8 같은 좋은 옵션을 사용해 양자화의 악몽을 피할 수 있는 충분한 VRAM이 있다고 생각했습니다. 다행히 Qwen에서 27B 모델의 FP8 버전을 출시했더군요.

진심으로 말하는데, "1만 달러로 뭘 사야 하죠?"라는 질문들에 대한 답을 찾은 것 같습니다. Pro 5k, 64GB RAM, 적당한 CPU/메인보드 조합이면 27B FP8 양자화 모델을 Blackwell 하드웨어 가속과 비양자화 KV 캐시로 아주 쾌적하게 돌릴 수 있습니다. 조용하고, 발열도 적고, 작고, 빠릅니다... 정말 최고예요.

최종 레시피:

vLLM 0.20.1
CUDA 12.9
Qwen의 공식 FP8 양자화 Qwen3.6 27B (멀티모달, MTP 등 Qwen3.6의 모든 기능 포함)
200k 토큰 BF16 KV 캐시 @ 1.09x 동시성
실제 벤치마크 수치는 지금 돌리고 있으며 곧 업데이트 예정.

설정값:

export VLLM_USE_FLASHINFER_MOE_FP8=1
export VLLM_TEST_FORCE_FP8_MARLIN=1
export VLLM_SLEEP_WHEN_IDLE=1
export VLLM_MEMORY_PROFILER_ESTIMATE_CUDAGRAPHS=1
export VLLM_LOG_STATS_INTERVAL=2
export VLLM_WORKER_MULTIPROC_METHOD=spawn
export SAFETENSORS_FAST_GPU=1
export CUDA_DEVICE_ORDER=PCI_BUS_ID
export TORCH_FLOAT32_MATMUL_PRECISION=high
export PYTORCH_ALLOC_CONF=expandable_segments:True

vllm serve Qwen/Qwen3.6-27B-FP8 \
  --host 0.0.0.0 --port 8080 \
  --performance-mode interactivity \
  --trust-remote-code \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 \
  --mm-encoder-tp-mode data \
  --mm-processor-cache-type shm \
  --gpu-memory-utilization 0.975 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
  --compilation-config '{"cudagraph_mode": "FULL_AND_PIECEWISE", "max_cudagraph_capture_size": 16, "mode": "VLLM_COMPILE"}' \
  --async-scheduling \
  --attention-backend flashinfer \
  --max-model-len 196608 \
  --kv-cache-dtype bfloat16 \
  --enable-prefix-caching

성능

실제 벤치마크를 돌리고 있으며 나중에 업데이트하겠지만, 대체로 MTP=2로 코드를 작성하면 60-90 TPS가 나옵니다. 일상적인 용도로는 완벽한 수치죠. 게다가 FP8을 사용하고 KV 캐시는 비양자화 상태라, Claude 세션을 길게 돌려도 압축 오류나 무한 루프 같은 문제 없이 쾌적합니다. 정말 최소한의 양자화만 적용된 상태입니다.

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•136•160

RTX 5000 PRO 48GB에서 Qwen3.6 27B FP8 모델을 200k 토큰으로 80 TPS 구동하기

Qwen3.6 27B FP8 runs with 200k tokens of BF16 KV cache at 80 TPS on a single RTX 5000 PRO 48GB

핵심 요약

RTX 5000 PRO 48GB를 활용해 Qwen3.6 27B FP8 모델을 고성능으로 구동하는 최적의 로컬 환경 구축법을 공유함.

고성능 하드웨어 — RTX 5000 PRO 48GB를 사용하여 양자화 오류를 최소화하고 FP8 가속을 활용함.
최적화 설정 — vLLM 0.20.1과 BF16 KV 캐시를 조합해 200k 토큰 환경에서 80 TPS의 속도를 구현함.
비용 효율성 — 5천 달러 미만의 예산으로 소규모 데이터센터급 성능을 가정에서 구현 가능함.
실제 성능 — MTP=2 설정 시 코드 작성 작업에서 60~90 TPS의 실사용 가능한 속도를 보여줌.

안녕하세요,

최종 레시피:

vLLM 0.20.1
CUDA 12.9
Qwen의 공식 FP8 양자화 Qwen3.6 27B (멀티모달, MTP 등 Qwen3.6의 모든 기능 포함)
200k 토큰 BF16 KV 캐시 @ 1.09x 동시성
실제 벤치마크 수치는 지금 돌리고 있으며 곧 업데이트 예정.

설정값:

export VLLM_USE_FLASHINFER_MOE_FP8=1
export VLLM_TEST_FORCE_FP8_MARLIN=1
export VLLM_SLEEP_WHEN_IDLE=1
export VLLM_MEMORY_PROFILER_ESTIMATE_CUDAGRAPHS=1
export VLLM_LOG_STATS_INTERVAL=2
export VLLM_WORKER_MULTIPROC_METHOD=spawn
export SAFETENSORS_FAST_GPU=1
export CUDA_DEVICE_ORDER=PCI_BUS_ID
export TORCH_FLOAT32_MATMUL_PRECISION=high
export PYTORCH_ALLOC_CONF=expandable_segments:True

vllm serve Qwen/Qwen3.6-27B-FP8 \
  --host 0.0.0.0 --port 8080 \
  --performance-mode interactivity \
  --trust-remote-code \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 \
  --mm-encoder-tp-mode data \
  --mm-processor-cache-type shm \
  --gpu-memory-utilization 0.975 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
  --compilation-config '{"cudagraph_mode": "FULL_AND_PIECEWISE", "max_cudagraph_capture_size": 16, "mode": "VLLM_COMPILE"}' \
  --async-scheduling \
  --attention-backend flashinfer \
  --max-model-len 196608 \
  --kv-cache-dtype bfloat16 \
  --enable-prefix-caching

성능

주요 댓글

r/localllama

사용자들은 Blackwell 기반 GPU의 FP8 성능에 감탄하면서도, 3090 멀티 구성과의 가성비 비교 및 스레드의 AI 생성 의혹에 대해 활발히 토론하고 있습니다.

난 i5-1334U에서 qwen3.6 27B Q4_K_M 돌리는데 문제없음. 다만 "초당 토큰"이 아니라 "토큰당 초"가 걸릴 뿐이지.

하하! 맞음, 이건 그런 수준이 아니지 :) 그래도 이미 PC가 있다면 pro5k는 진짜 모든 조건을 다 갖춘 듯: 빠른 프리필/디코딩, 200k 토큰, FP8 모델, 비양자화 KV, CPU 오프로딩 없음, 램 요구사항도 무난함, 조용하고 효율적임. 5천 달러 미만으로 집에서 작은 데이터센터급 성능을 뽑아내는 거임. 많이 발전했지!

vllm에서 무손실 양자화 KV 캐시 곧 지원할까? 그럼 VRAM 아껴서 컨텍스트 더 꽉 채울 수 있을 텐데.

4090~5090은 하드웨어 가속 덕분에 FP8 KV 캐시가 저렴함. KV 캐시 줄이면 양자화/역양자화 연산 때문에 프롬프트 처리랑 동시 쿼리에 영향 감. llama.cpp랑 exllamav3에서 하드마드 회전 KV 캐시 써봤는데 에이전트 코딩하기엔 너무 느렸음. 성능 반토막 나더라.

-4

“두 배 느리다”니 “Z배 느리다”니 하는 말 좀 그만해. 좀 생각해 봐. 의미도 없고 헷갈리기만 함. 뭐보다 두 배 느린 건데? 기준을 말하고 계산을 하라고. 그냥 “절반 속도”라고 하면 되잖아.

LLM도 문맥 파악은 하겠다. 너가 말한 “절반 속도”도 “뭐보다 절반 속도”인지 똑같은 문제 있잖아. 깐깐하게 굴 거면 다시 읽어보고 말해. 지금 너 엄청 재수 없고 위선적으로 보여.

“다들 혼다 시빅 가지고 튜닝하고 놀길래, 페라리가 뭔지 보여주러 왔다.”

이제 1만 달러만 구하면 되겠네 🫠

3090 2개 TP2로 돌리면 4비트에서 똑같은 성능 나옴.

3090 5개 써본 사람으로서 말하는데 3090 2개 쓰는 것도 보통 일이 아님. GPU 전력만 700~900W 먹는데 열 감당 안 됨. 조용하지도 않고 라이저 카드 써야 해서 별로임. 그래도 3090에 애착은 있고, 5k pro보다 3천 달러 싸다는 건 무시 못 하지!

나도 엄청 헷갈림. 저 -- START HUMAN TEXT -- 태그는 대체 뭐임? 왜 아무도 언급을 안 하지? 이 스레드 진짜 이상함. 이제 다 봇인 것 같아. OP가 댓글 단 것도 하나도 안 안심됨.

맞아, Blackwell 카드에서 네이티브 FP8은 진짜 돈값 함. 35B 모델도 300 TPS 넘게 뽑을 수 있음.

맞아. 난 27B의 깡성능을 원했거든. 300W짜리 소비자용 GPU 하나로 397B급 벤치마크가 나오니까. FP8이랑 BF16 조합은 단일 GPU에선 진짜 최고임. GGUF도, 양자화 KV도, 4비트 모델 타협도, mlx도, 통합 메모리도 필요 없음. 클라우드 제공업체처럼 vLLM에서 Blackwell FP8 돌리는 거임. 죽여주지!

원문r/LocalLLaMA