r/LocalLLaMA•5개월 전•105•33

vLLM, Qwen 3.5+용 TurboQuant 수정 사항 병합 완료

vLLM Just Merged TurboQuant Fix for Qwen 3.5+

핵심 요약

vLLM에서 Qwen 3.5/3.6 모델 사용 시 발생하던 TurboQuant 관련 'Not Implemented' 오류가 수정되었습니다.

TurboQuant 수정 — vLLM에서 Qwen 3.5/3.6 모델 사용 시 발생하던 KV 캐시 관련 오류가 해결됨.
사용법 공유 — --kv-cache-dtype 옵션을 통해 다양한 양자화 모드를 지원함.
성능 최적화 — --max-num-batched-tokens 설정을 통해 청크 프리필 오류를 방지할 수 있음.
하드웨어 테스트 — 5090 및 3090 환경에서 다양한 INT4/INT8 모델을 테스트하여 호환성을 확인함.

이전에는 Mamba 레이어 때문에 'Not Implemented' 오류가 발생했었음. 지금 테스트하러 감!

https://github.com/vllm-project/vllm/pull/39931

수정: Qwen 3.6, 27B 모델로 테스트 완료.
다음 인자를 사용할 수 있음;

--kv-cache-dtype turboquant_4bit_nc

사용 가능한 다른 옵션들;

turboquant_k8v4
turboquant_4bit_nc
turboquant_k3v4_nc
turboquant_3bit_nc

--enable-chunked-prefill로 실행할 때 mamba 정렬 관련 오류가 발생하면, 오류 메시지에 나오는 값보다 더 많은 배치 토큰을 설정하면 됨. 난 4096으로 설정해서 해결함. --max-num-batched-tokens 4096

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•105•33

vLLM, Qwen 3.5+용 TurboQuant 수정 사항 병합 완료

vLLM Just Merged TurboQuant Fix for Qwen 3.5+

핵심 요약

vLLM에서 Qwen 3.5/3.6 모델 사용 시 발생하던 TurboQuant 관련 'Not Implemented' 오류가 수정되었습니다.

TurboQuant 수정 — vLLM에서 Qwen 3.5/3.6 모델 사용 시 발생하던 KV 캐시 관련 오류가 해결됨.
사용법 공유 — --kv-cache-dtype 옵션을 통해 다양한 양자화 모드를 지원함.
성능 최적화 — --max-num-batched-tokens 설정을 통해 청크 프리필 오류를 방지할 수 있음.
하드웨어 테스트 — 5090 및 3090 환경에서 다양한 INT4/INT8 모델을 테스트하여 호환성을 확인함.

이전에는 Mamba 레이어 때문에 'Not Implemented' 오류가 발생했었음. 지금 테스트하러 감!

https://github.com/vllm-project/vllm/pull/39931

수정: Qwen 3.6, 27B 모델로 테스트 완료.
다음 인자를 사용할 수 있음;

--kv-cache-dtype turboquant_4bit_nc

사용 가능한 다른 옵션들;

turboquant_k8v4
turboquant_4bit_nc
turboquant_k3v4_nc
turboquant_3bit_nc

주요 댓글

r/localllama

vLLM의 TurboQuant 패치에 대해 로컬 환경에서의 VRAM 절감 기대감과 함께, 성능 벤치마크 부족 및 과대평가 논란에 대한 회의적인 시각이 공존하고 있음.

나만 이상한 건가, perplexity나 KLD 벤치마크가 하나도 없네? 이거 테스트할 때 기본 아니냐?

내 기억이 맞다면 여기 올라온 글에서 perplexity랑 KLD 결과 안 좋다고 본 것 같은데, 일반 퀀트랑 똑같음. 논문 구현 방식에 따라 다를 순 있겠지만... 그래도 TurboQuant 너무 과대평가된 거 아님? 특히 Qwen 3.5/3.6에서는 딱히 필수도 아닌 것 같은데.

대부분 거품이라서 그렇지. 리뷰에서 지적된 학술적 문제들 좀 찾아봐.

💯 다 테스트해 봤는데 왜 이렇게 난리인지 진짜 이해가 안 감 😕

TheTom 레포에서 테스트한 거 봤는데 Q4_0이랑 비슷하면서 속도는 더 느리더라. 왜 다들 이걸 만능 해결책인 것처럼 난리 치는지 진짜 모르겠음.

관련 PR에 테스트 결과는 있는데, 그 수치들이 직접 비교 가능한 건지는 잘 모르겠음.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

뉴비인데 누가 좀 설명해 줄 사람?

vLLM에서 Qwen 3.5용 Turboquant 돌아감. 문제 해결됨.

이상하네, 나 일주일 전에 vLLM 0.20에서 Qwen 3.6 27B로 turboquant 돌려봤을 때 잘 됐는데. 문서 어디선가 turboquant_k8v4 빼고는 perplexity 증가폭이 꽤 크다고 본 것 같음. 근데 기존 fp8 kv 퀀트랑 차이를 모르겠네.

굿, 'Not Implemented' 에러 때문에 막혔었는데 잘됐네. 근데 부하 걸렸을 때 얼마나 안정적인지 궁금함. 지원하는 거랑 장시간 추론 돌렸을 때 엣지 케이스 터지는 건 별개니까. 그리고 퀀트가 출력 일관성에 미세한 영향 주는지, 아니면 실사용에선 무시해도 될 수준인지도 궁금함.

Gemma 4 31B에도 도움 됨?

원문r/LocalLLaMA