r/LocalLLaMA•4개월 전•207•30

RTX 5090에서 Qwen3.6 MTP 지원 테스트 결과

Testing llama.cpp MTP support on Qwen3.6 - RTX 5090

핵심 요약

RTX 5090 환경에서 Qwen3.6 모델의 MTP 성능을 테스트하고 그 결과를 공유함.

테스트 환경 — RTX 5090 및 Linux 기반의 llama.cpp 환경에서 진행함.
모델 설정 — Qwen3.6-27B 및 35B 모델에 MTP 플래그를 적용하여 비교함.
테스트 방식 — 숏 스토리와 HTML 코드 생성 프롬프트를 사용하여 토큰 생성 속도를 측정함.
성능 논쟁 — MTP 사용 시 병렬 처리(Parallel) 설정이 성능에 미치는 영향에 대해 의견이 갈림.

테스트 환경:

RTX 5090, 32 GB, Linux
4f13cb7 버전으로 llama.cpp 빌드 (작성 시점 기준으로 공식 ghcr.io/ggml-org/llama.cpp:server-cuda 이미지가 아직 머지를 반영하지 않아 CUDA_DOCKER_ARCH=120으로 소스에서 직접 도커 빌드함)
Unsloth의 Qwen3.6-27B-MTP-GGUF Q5_K_M 및 Qwen3.6-35B-A3B-MTP-GGUF UD-Q4_K_M 사용
128k 컨텍스트, flash-attn, q8_0 KV 캐시, 온도 0.8, --parallel 1 (MTP에 필수)
"MTP 켜짐"과 "MTP 꺼짐"에 동일한 GGUF 사용 — --spec-type draft-mtp --spec-draft-n-max 3 플래그만 토글함. 이를 통해 양자화 차이 없이 MTP 효과만 분리함.
2가지 프롬프트: "고양이에 대한 짧은 이야기" (~400 토큰) 및 "단일 HTML 파일로 Flappy Bird 클론 만들기" (~3000 토큰)
설정당 3번의 시드 테스트 후 평균값 산출

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•207•30

RTX 5090에서 Qwen3.6 MTP 지원 테스트 결과

Testing llama.cpp MTP support on Qwen3.6 - RTX 5090

핵심 요약

RTX 5090 환경에서 Qwen3.6 모델의 MTP 성능을 테스트하고 그 결과를 공유함.

테스트 환경 — RTX 5090 및 Linux 기반의 llama.cpp 환경에서 진행함.
모델 설정 — Qwen3.6-27B 및 35B 모델에 MTP 플래그를 적용하여 비교함.
테스트 방식 — 숏 스토리와 HTML 코드 생성 프롬프트를 사용하여 토큰 생성 속도를 측정함.
성능 논쟁 — MTP 사용 시 병렬 처리(Parallel) 설정이 성능에 미치는 영향에 대해 의견이 갈림.

테스트 환경:

RTX 5090, 32 GB, Linux
4f13cb7 버전으로 llama.cpp 빌드 (작성 시점 기준으로 공식 ghcr.io/ggml-org/llama.cpp:server-cuda 이미지가 아직 머지를 반영하지 않아 CUDA_DOCKER_ARCH=120으로 소스에서 직접 도커 빌드함)
Unsloth의 Qwen3.6-27B-MTP-GGUF Q5_K_M 및 Qwen3.6-35B-A3B-MTP-GGUF UD-Q4_K_M 사용
128k 컨텍스트, flash-attn, q8_0 KV 캐시, 온도 0.8, --parallel 1 (MTP에 필수)
"MTP 켜짐"과 "MTP 꺼짐"에 동일한 GGUF 사용 — --spec-type draft-mtp --spec-draft-n-max 3 플래그만 토글함. 이를 통해 양자화 차이 없이 MTP 효과만 분리함.
2가지 프롬프트: "고양이에 대한 짧은 이야기" (~400 토큰) 및 "단일 HTML 파일로 Flappy Bird 클론 만들기" (~3000 토큰)
설정당 3번의 시드 테스트 후 평균값 산출

주요 댓글

r/localllama

MTP 기술의 실효성에 대해 MoE 모델에서의 오버헤드와 프롬프트 처리 속도 저하를 우려하는 기술적 논의가 이어짐.

35B q4 xl 모델로 듀얼 5060ti에서 MTP 적용 시 180tks, 미적용 시 127tks 나왔는데, 병렬 처리 2(p2)는 시도해보셨나요? 왜 MTP에 병렬 처리 1이 필수라고 생각하시나요? 저는 xl 모델 제외하고 같은 모델 쓰는데, 27b q5에서 MTP 적용 시 77tk/s, 미적용 시 27-30tk/s 나옵니다.

이 PR 초기 버전에서는 parallel=1이 필수였는데, 이제는 꼭 그렇지는 않음.

LLM 추론은 np1에서 메모리 대역폭 제한을 받아서 연산 장치 활용률이 100%가 아님. 병렬 처리, 배치, MTP 모두 이 유휴 연산 자원을 활용하려는 건데, MTP 쓰면서 parallel 1 넘어가면 이론상 두 메커니즘이 같은 연산 자원을 두고 경쟁하게 됨.

이론이랑 실제 측정 결과는 다르지. 테스트를 더 해볼수록 새로운 걸 발견하게 되네. 듀얼 5060 Ti에서 MTP로 p2 돌려보니까 수락률 78% 나오고 코드 생성 속도도 확실히 빨라짐. parallel 1 필수라는 건 이제 아닌 거 같고, 오히려 parallel 2가 드래프트 검증 중에 메모리 대역폭 때문에 노는 사이클을 채워줘서 연산 자원 경쟁 없이 성능 향상에 도움을 주는 듯함. GPU 하나 쓸 때랑 여러 개 쪼개서 쓸 때랑은 결과가 다를 수 있으니 참고하셈.

듀얼 GPU 구성이라 p2가 더 잘 나오는 거 아님? 싱글 GPU 환경에서는 딱히 이득 없을 거 같은데.

온도(temperature)를 0.2로 낮춰서 산문 테스트도 해보세요. 샘플링이 훨씬 결정론적으로 변해서 토큰 수락률이 눈에 띄게 높아질 겁니다.

정보 감사합니다. 두 모델 모두 제 경험과 비슷하네요. 35B 모델에서는 속도 향상을 체감할 만한 상황을 찾지 못했습니다. 좀 더 인내심을 가져야 할 것 같네요...

MoE 기본 처리량이 워낙 높아서 MTP 검증이나 롤백 오버헤드가 추론 이득보다 더 클 수 있음. 특히 수락률 낮을 때 더 심함. 지금은 Dense 모델이 MTP 효과를 훨씬 꾸준하게 보는 듯.

프롬프트 처리 속도도 궁금함. 10k 토큰 정도 되는 프롬프트를 처리할 때 MTP 켜고 끄는 거 차이가 큼?

동감함. 프롬프트 처리 속도도 영향받는 거 같음. 그러니까 더 느려진다면 27B로 짧은 글 쓸 때는 MTP 끄는 게 나을지도.

게시글 인기 많아서 디스코드에 소개함! 구경 오셈! 기여도 인정해서 특별 플레어도 달아줌. 포스트 고맙다! (자동 응답 봇)

원문r/LocalLLaMA