r/LocalLLaMA•5개월 전•157•34

Qwen3.6 27B의 새로운 권장 샘플링 파라미터 참고

Note the new recommended sampling parameters for Qwen3.6 27B

핵심 요약

Qwen3.6 27B 모델의 사고 모드 및 일반 모드용 최적 샘플링 설정 공유 및 사용자 피드백.

샘플링 파라미터 — 사고 모드와 일반 모드에 최적화된 온도 및 페널티 설정이 공개됨.
Presence Penalty — 사고 모드에서 반복 문제를 해결하기 위해 0.0 설정을 권장함.
사용자 커스텀 설정 — 기본값보다 나은 성능을 내는 Min-P 기반의 대안 설정이 제안됨.
버전 간 차이 — 이전 3.5 버전과 유사하다는 의견과 세부 설정의 변화를 주목하는 반응이 공존함.

생성을 위해 다음 샘플링 파라미터 세트를 사용하는 것을 권장합니다

Thinking mode for general tasks: temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
Thinking mode for precise coding tasks (e.g. WebDev): temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
Instruct (or non-thinking) mode: temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

이것들은 3.5와는 다르니 참고하라고 가져와 봤어.

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•157•34

Qwen3.6 27B의 새로운 권장 샘플링 파라미터 참고

Note the new recommended sampling parameters for Qwen3.6 27B

핵심 요약

Qwen3.6 27B 모델의 사고 모드 및 일반 모드용 최적 샘플링 설정 공유 및 사용자 피드백.

샘플링 파라미터 — 사고 모드와 일반 모드에 최적화된 온도 및 페널티 설정이 공개됨.
Presence Penalty — 사고 모드에서 반복 문제를 해결하기 위해 0.0 설정을 권장함.
사용자 커스텀 설정 — 기본값보다 나은 성능을 내는 Min-P 기반의 대안 설정이 제안됨.
버전 간 차이 — 이전 3.5 버전과 유사하다는 의견과 세부 설정의 변화를 주목하는 반응이 공존함.

Huggingface 페이지에서 가져옴:

생성을 위해 다음 샘플링 파라미터 세트를 사용하는 것을 권장합니다

Thinking mode for general tasks: temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
Thinking mode for precise coding tasks (e.g. WebDev): temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
Instruct (or non-thinking) mode: temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

이것들은 3.5와는 다르니 참고하라고 가져와 봤어.

주요 댓글

r/localllama

Qwen3.6 27B의 새로운 샘플링 파라미터 권장안에 대해 사용자들은 presence penalty 설정 변화를 반기면서도, 각자의 테스트 결과를 공유하며 더 나은 최적값을 찾기 위해 활발히 논의 중이다.

Thinking 모드에서 presence penalty 0.0 권장하는 거 진짜 반갑네. 예전 1.5나 1.1은 문제 너무 많았음.

근데 차이가 뭐야? 애초에 presence penalty가 뭔 역할을 하는 거임?

반복을 억제해서 루핑 방지하는 건데, 모델이 특정 토큰을 반복하고 싶은데 못하게 막으니까 오히려 루프에 빠지는 거 같음. 내 추측이지만.

MoE 모델 쓸 때는 presence penalty 높여야 했음. 안 그러면 루프 돌더라고. 마지막 단어만 바뀌고 같은 줄 반복하거나, 로직 자체가 무한 루프 돌거나.

repetition penalty가 반복 억제하는 거 아님?

둘 다 함. 결과는 비슷한데 모델의 다른 부분을 건드리는 걸로 알고 있음.

최근에 바뀐 거 아니면 둘 다 똑같음. 다만 presence penalty는 불리언 방식(토큰이 이미 있나? 있으면 x만큼 페널티)이고, repetition penalty는 수치 방식(토큰이 몇 번 나왔나? 나온 횟수만큼 x 페널티) 차이임.

코딩 쪽은 이전 모델이랑 완전히 똑같네.

Agentic 코딩도 'precise coding tasks'에 포함되는 거 맞지?

아마 그럴걸.

난 똑같아 보이는데? 반복 관련 설정 말하는 거임? 난 그거 지워버렸는데 별 문제 없더라.

권장 파라미터 별로인 듯. 이것저것 테스트해봤는데 이게 더 나음: ctx-size = 128000, temp = 1.0, top-p = 1.0, top-k = 25, min-p = 0.2, presence-penalty = 0.1, repeat-penalty = 1.05, chat-template-kwargs = { "enable_thinking": true }

preserve_thinking 파라미터도 추가하는 게 좋을 듯.

원문r/LocalLLaMA