Qwen Flash Next 양자화 및 온도 비교 - 성능 vs 작업 시간 vs 품질
Qwen Flash Next quant and temp comparison - performance vs task time vs quality
핵심 요약
Qwen Flash Next 모델의 양자화 수준과 온도 설정이 실제 작업 성능과 시간에 미치는 영향을 테스트한 결과입니다.
- 양자화 성능 — 높은 양자화 모델일수록 총 작업 시간이 단축됨
- 온도 설정 — 온도 0 설정이 작업 시간 일관성을 높이고 변동성을 줄임
- 토큰 생성 — 낮은 양자화 모델은 불필요한 도구 호출과 검증으로 더 많은 토큰을 생성함
- 결론 — 디코딩 속도보다 전체 작업 시간을 고려해 가능한 높은 양자화 모델 사용 권장
최근에 올라온 흥미로운 게시글 하나가 고양자화 모델이랑 저양자화 모델 성능, 그리고 흔히 권장되는 샘플링 파라미터(특히 온도)에 의문을 제기하길래, 마침 시간이 남아돌아서 테스트 12개를 돌려봤다.
내 하드웨어에서 돌아가는 모델 3개를 골랐다:
- q3_xxs
- q3_s
- q4_xs
각 모델마다 온도 설정을 두 가지로 나눠서 테스트했다:
- 권장 샘플링 파라미터: temp 1, top_k 20, top_p 0.95, min_p 0, presence_penalty 0.0, repetition_penalty 1.0
- strata json이랑 pi models json 둘 다 temp 0으로 설정; 나머지 샘플링 파라미터는 제거.
위의 모델/온도 조합마다 3번씩 돌려봤다.
작업 내용: 게임 플레이, 설정, 시각 효과에 대한 요구사항이 정의된 브라우저 기반 테트리스 게임 만들기.
품질 평가: 요구사항 대비 구현된 기능.
결과는 사진에 있다. 내 수제 엑셀 데이터 시각화 실력은 좀 봐줘라.
결론:
-
양자화 모델들 전부 그럭저럭 괜찮았음. 완벽한 결과물은 하나도 없었지만 다들 쓸만함.
-
저양자화 모델들은 자기 자신을 못 믿는지 고양자화 모델보다 토큰을 훨씬 많이 뱉어냄. 생각하는 과정이나 쓸데없는 도구 호출, 테스트, "사실은(actually)" 같은 군더더기가 많음.
-
양자화 단계가 올라갈수록 작업당 총 Ktok 디코딩 양은 꾸준히 줄어듦.
-
저양자화 모델의 높은 TPS 디코딩 속도가 전체 디코딩 양이나 작업 시간(반복 테스트, playwright 등 포함) 증가를 상쇄하지는 못함.
-
Temp 0으로 돌렸을 때 작업 크기나 시간이 더 일관적인 것 같음. 표본이 적긴 한데, 원래 의도대로 작동하는 듯함.
-
Temp 0이 작업 시간을 아주 조금 줄여주고 일관성도 더 좋으며, 품질 저하도 없는 것 같긴 한데 표본이 너무 적어서 확답은 못 하겠다. 복잡한 작업으로 가면 Temp 0이 오히려 성능이 떨어질 것 같음.
-
경험상 고양자화라고 품질이 더 좋아지진 않음. 그렇다고 나빠지지도 않는데, 저양자화 모델보다 테스트는 덜 함.
결론적으로 성능 면에서는 이게 맞는 듯: 하드웨어 허용하는 선에서 가장 높은 양자화 모델을 써라. 디코딩 속도 신경 쓰지 말고 전체 작업 시간에 집중해라.
난 당분간 Q3s 쓸 생각임. 내 윈도우 환경에서 SSD 캐싱 없이 돌아가는 가장 높은 양자화 모델이라서. 나중에 리눅스 헤드리스 추론 박스로 돌리면 상황이 바뀔지도 모르겠다.
온도 문제는 아직도 좀 헷갈려서 처음에 링크한 게시글의 주장이 맞는지 틀린지 검증은 못 했다. 나중에 온도만 집중적으로 파는 좀 더 기술적이고 결정론적인 테스트를 해볼 생각임.
