Qwen3.6 27b q5_k_M MTP - 256k 컨텍스트 - 5090 설정

따로 지정은 안 했는데 아치 리눅스 쓰니까 13일 듯. 수정: CUDA 13.2.1임.

고마워, 아직까진 문제없음 🤞

속도 얼마나 나와? 난 5090에서 128k 넘어가니까 t/s가 그냥 곤두박질치던데.

200k 넘어도 65~75tps 꾸준히 나옴. KV는 q8 쓰고 있는 거 보이지?

얼마 전에 attn_rot 머지된 이후로 8.0이랑 16이랑 거의 비슷함. q5는 아직 문제 있는데, 코딩 작업할 땐 256k 컨텍스트에서 q8이 거의 원본이랑 똑같더라.

컨텍스트 사이즈별로 속도 좀 공유해줄 수 있음? 난 5090 하나에 vLLM, MTP max 3, 수락률 95%, kv 캐시 q8로 돌리는데 32k는 102-105tps, 80k는 88tps, 120k는 60tps 나옴. 이게 한계임.

예전에 32GB에서 q4랑 MTP 써도 100k 컨텍스트도 안 들어갔었는데. KV 오버헤드 문제 해결됨?

예측 추론용 llama.cpp MTP 브랜치 써봐(아직 머지 안 됐는데 허깅페이스 모델 페이지에 빌드 방법 있음, 요즘 다들 이거 씀 😎). 난 16GB VRAM(Tesla T4)에 PCI 3.0, CPU 오프로딩으로 117t/s 입력, 40t/s 출력 나옴. Q8 모델에 F16 256k 컨텍스트인데, 어떤 사람들은 출력 속도 2~3배씩 뽑더라.