Qwen 모델에 'wait', 'maybe', 'perhaps' 등의 logit 페널티를 추가하면 정확도가 향상됨
Adding logit penalty for "wait", "maybe" and "perhaps" to Qwen models improves their accuracy
핵심 요약
Qwen 모델의 추론 과정에서 불필요한 망설임 표현에 logit 페널티를 부여해 정확도와 효율성을 개선한 실험 결과입니다.
- Logit 페널티 적용 — 'maybe', 'wait' 등 모델의 과도한 생각(overthinking)을 유도하는 단어들에 페널티를 부여함
- 정확도 향상 — 다양한 양자화 모델에서 베이스라인 대비 정확도가 유의미하게 상승함
- 추론 토큰 감소 — 불필요한 망설임이 줄어들면서 추론에 사용되는 토큰 수가 감소함
- 추가 검증 필요 — 현재는 특정 벤치마크 데이터셋에 국한된 결과로, 더 넓은 범위의 일반화 테스트가 요구됨
메타에서 지리는 논문 https://arxiv.org/pdf/2606.00206을 하나 뽑아냈는데, llama.cpp에서 지원하는 다양한 양자화 방식에 대해서는 다루질 않았더라고. 그래서 내가 직접 MATH-500 문제 50개를 무작위로 뽑아서(https://huggingface.co/datasets/HuggingFaceH4/MATH-500) https://huggingface.co/bartowski/Qwen_Qwen3.5-4B-GGUF의 여러 양자화 버전으로 돌려봤어. 그리고 아래 명령어를 시도해봤지.
--logit-bias 466-2 --logit-bias 694-2 --logit-bias 1362-2 \
--logit-bias 1412-2 --logit-bias 1921-2 --logit-bias 1990-2 \
--logit-bias 2086-2 --logit-bias 2361-2 --logit-bias 2441-2 \
--logit-bias 2493-2 --logit-bias 2892-2 --logit-bias 3222-2 \
--logit-bias 3315-2 --logit-bias 3384-2 --logit-bias 3404-2 \
--logit-bias 3482-2 --logit-bias 3655-2 --logit-bias 4213-2 \
--logit-bias 4370-2 --logit-bias 4598-2 --logit-bias 4611-2 \
--logit-bias 4808-2 --logit-bias 5752-2 --logit-bias 6970-2 \
--logit-bias 7014-2 --logit-bias 7643-2 --logit-bias 8106-2 \
--logit-bias 10179-2 --logit-bias 10451-2 --logit-bias 11746-2 \
--logit-bias 13264-2 --logit-bias 13428-2 --logit-bias 14673-2 \
--logit-bias 15029-2 --logit-bias 16036-2 --logit-bias 21143-2 \
--logit-bias 21979-2 --logit-bias 33955-2 --logit-bias 35999-2 \
--logit-bias 36563-2 --logit-bias 37201-2 --logit-bias 37781-2 \
--logit-bias 41484-2 --logit-bias 62586-2 --logit-bias 66073-2 \
--logit-bias 73071-2 --logit-bias 84485-2 --logit-bias 85152-2 \
--logit-bias 95500-2
이것들은 논문에서 말하는 '과도한 생각(overthinking)' 마커들이야:
[
" perhaps", " maybe", " wait", " Wait", " actually",
" hold", " Hmm", " hmm", " Alternatively", " alternatively",
" However", " however", " instead", " Instead", " But",
" but", " though", " although", " yet", " rather",
" unless", " otherwise", " nonetheless", " nevertheless", " regardless",
" still", " anyway", " Or", " or", " either",
