r/LocalLLaMA•약 3시간 전•18•11
Strata - Qwen 3.8 Flash Next - 디코딩 속도 향상 팁
Strata - Qwen 3.8 Flash Next - boosting decoding speed Tip
핵심 요약
Strata에서 --adapt-every 값을 조정하여 Qwen 모델의 디코딩 속도를 크게 높인 실험 결과입니다.
- 파라미터 조정 — --adapt-every 값을 1에서 6으로 변경하여 속도 향상 달성
- 성능 테스트 — 다양한 프롬프트와 양자화 모델(UD-Q4, UD-IQ4)을 사용하여 속도 측정
- 하드웨어 사양 — Intel 11700F, RTX 4070 Ti Super, 64GB RAM 환경에서 테스트 진행
--adapt-every 값을 기본값 1에서 6으로 올렸더니 성능 꽤 쏠쏠하게 뽑히네.
채팅에서 연속된 프롬프트 4개(슬로바키아어)로 테스트해 봤음. 1~3번은 간단한 질문이고, 4번은 소스 코드(20K 토큰) 설명하는 거임.
결과:
[프롬프트 번호 / ~평균 출력 길이]
UD-Q4_K_XL:
[1 / 996] 30.3 -> 36.1 t/s (+19%)
[2 / 473] 31.6 -> 35.4 t/s (+12%)
[3 / 1245] 32.6 -> 40.1 t/s (+23%)
[4 / 4148] 27.8 -> 43.1 t/s (+55%)
UD-IQ4_XS:
[1 / 947] 57.9 -> 63.1 t/s (+9%)
[2 / 565] 51.9 -> 64.3 t/s (+24%)
[3 / 1162] 57.6 -> 71.6 t/s (+24%)
[4 / 4881] 56.0 -> 65.3 t/s (+16%)
PC 사양: Intel 11700F@4.4GHz, RTX 4070 ti super, 64GB DDR4, NVMe, Arch linux TTY
