r/LocalLLaMA•5개월 전•93•34

allanchan339 및 froggeric의 Qwen3.6 채팅 템플릿 병합 버전

Qwen3.6 merged chat template from allanchan339 and froggeric

핵심 요약

Claude Opus를 활용해 Qwen3.6의 주요 커뮤니티 채팅 템플릿 두 버전을 하나로 병합한 개선판 공유.

템플릿 병합 — allanchan339와 froggeric의 Qwen3.6 템플릿 장점을 Claude Opus로 통합함.
주요 개선 사항 — 도구 호출 규칙 강화, 사고 과정 토글 및 JSON 이스케이프 처리 등을 포함함.
커뮤니티 검증 — 원작자 froggeric이 직접 검토 의견을 남기며 기술적 완성도를 논의함.
설정 방법 공유 — vLLM 및 llama-server에서 사고 과정 보존 옵션을 적용하는 구체적 방법 안내.

안녕,

최근 froggeric과 allanchan339가 각각 다른 문제를 해결한 Qwen3.6용 개선/수정 템플릿을 출시했어.
어떤 걸 써야 할지 몰라서 Claude Opus의 도움을 받아 둘의 장점만 합친 병합 버전을 만들었어.

이 gist에 업로드해 뒀어.
https://gist.github.com/fakezeta/9e8e039c60332fcb143c6e805558afe0

Opus로 작성한 요약 표야.

|Feature|allanchan339|froggeric|Merged|
|:-|:-|:-|:-|
|Long strict tool rules + follow-up example|✅|❌|✅|
|`developer` role accepted|❌|✅|✅|
|think_off & think_on toggles|❌|✅|✅|
|Historical reasoning hidden by default|✅|❌|✅|
|String tool args parsed as JSON into <parameter> blocks|✅|❌|✅|
|Non-ASCII in JSON escaped (uXXXX)|❌|✅|✅|
|</thinking> recognized (not just </think>)|❌|✅|✅|
|Auto-close unclosed <think> before <tool_call>|✅|❌|✅|
|Vision + tool_response structure|same|same|same|

llama-server와 Qwen3.6 35B A3B로 테스트해 봤어.

마음에 들었으면 좋겠네.
좋은 점이 있다면 froggeric과 allanchan339를 칭찬해 줘.

비난할 게 있다면 나한테 하되, 부디 친절하게 부탁해 😄

수정: <|think_off|> / <|think_on|> 토글 때문에 망가졌던 표를 수정함.

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•93•34

allanchan339 및 froggeric의 Qwen3.6 채팅 템플릿 병합 버전

Qwen3.6 merged chat template from allanchan339 and froggeric

핵심 요약

Claude Opus를 활용해 Qwen3.6의 주요 커뮤니티 채팅 템플릿 두 버전을 하나로 병합한 개선판 공유.

템플릿 병합 — allanchan339와 froggeric의 Qwen3.6 템플릿 장점을 Claude Opus로 통합함.
주요 개선 사항 — 도구 호출 규칙 강화, 사고 과정 토글 및 JSON 이스케이프 처리 등을 포함함.
커뮤니티 검증 — 원작자 froggeric이 직접 검토 의견을 남기며 기술적 완성도를 논의함.
설정 방법 공유 — vLLM 및 llama-server에서 사고 과정 보존 옵션을 적용하는 구체적 방법 안내.

안녕,

이 gist에 업로드해 뒀어.
https://gist.github.com/fakezeta/9e8e039c60332fcb143c6e805558afe0

Opus로 작성한 요약 표야.

|Feature|allanchan339|froggeric|Merged|
|:-|:-|:-|:-|
|Long strict tool rules + follow-up example|✅|❌|✅|
|`developer` role accepted|❌|✅|✅|
|think_off & think_on toggles|❌|✅|✅|
|Historical reasoning hidden by default|✅|❌|✅|
|String tool args parsed as JSON into <parameter> blocks|✅|❌|✅|
|Non-ASCII in JSON escaped (uXXXX)|❌|✅|✅|
|</thinking> recognized (not just </think>)|❌|✅|✅|
|Auto-close unclosed <think> before <tool_call>|✅|❌|✅|
|Vision + tool_response structure|same|same|same|

llama-server와 Qwen3.6 35B A3B로 테스트해 봤어.

마음에 들었으면 좋겠네.
좋은 점이 있다면 froggeric과 allanchan339를 칭찬해 줘.

비난할 게 있다면 나한테 하되, 부디 친절하게 부탁해 😄

수정: <|think_off|> / <|think_on|> 토글 때문에 망가졌던 표를 수정함.

주요 댓글

r/localllama

공식 템플릿의 한계를 극복하려는 커뮤니티의 시도에 대해 원작자들의 피드백과 구체적인 설정 방법이 활발히 공유되고 있습니다.

공식 Qwen 팀이 훈련이랑 추론 테스트 때 썼을 원래 템플릿보다, 커뮤니티 수정판이 어떻게 더 잘 돌아가거나 버그를 고칠 수 있는지 누가 설명 좀 해줄 사람 있냐?

'Claude Opus 썼다'는 부분만 아니었으면, 역사적으로 봤을 때 이게 더 나을 확률은 반반임. 대충 요약하자면 '프런티어 모델의 현실'이지. KV 양자화 회전(kv quant rotation)만 봐도 알 수 있듯이, 지금 이 순간에도 커뮤니티에서 실시간으로 테스트되고 있는 셈이야.

Gemma 4 템플릿도 원래 '의도된' 게 있었음에도 불구하고 여러 번 수정돼야 했음. https://huggingface.co/google/gemma-4-26B-A4B-it/commits/main/chat_template.jinja

원래 많은 프로젝트가 외부 기여를 받거나 포크하면서 발전하는 법이지.

그게 핵심인데, 사실 안 그래.

작업해 줘서 고맙다. 네 병합 템플릿이랑 allanchan339 버전을 확인해 봤는데 내 생각은 이래: 1. 긴 엄격한 도구 규칙: allanchan339는 300토큰이나 써서 너무 길어. 특정 에이전트 도구 호출 케이스엔 유용하겠지만 토큰 낭비임. 내 버전은 그만큼 철저하진 않아도 대부분 잘 돌아감. 결론: 내 거 써라. 2. 기본적으로 추론 과정 숨기기: 우린 접근 방식이 달라. 내 건 enable_thinking을 존중하는 더 세밀한 조건을 사용함...

고맙다, 네 버전 공개해 준 덕분에 몇 가지 엣지 케이스 해결됨.

공유 고맙다! 템플릿 맨 위에 {%- set preserve_thinking = true %} 추가해서 사고 과정 보존해야 함? 잘 돌아감?

오리지널 템플릿이랑 똑같은 방식임. 한 가지 방법은 템플릿 상단에 {%- set preserve_thinking = true %}를 추가하는 거고. 다른 방법은 vLLM을 실행할 때 이 옵션을 주는 거야: --default-chat-template-kwargs '{"preserve_thinking": true}'. 아니면 llama-server라면: --chat-template-kwargs '{"preserve_thinking":true}'. 네 쉘이나 OS에 맞춰서 '{" 부분을 이스케이프 해줘.

수정2: 미안, 내 이전 댓글이 틀렸음. 지금 테스트 중인데 유망해 보이네! 수정3: 마지막 수정 이후 20~30분 동안 문제없이 돌아가는 중. 수정4: 한 시간 정도 지났는데, 템플릿 때문이 아닌 잡다한 문제들만 겪는 중. 좋아 보여, 가즈아(ship it). 아니면 알바니아인들 말대로 shqip it.

아 그건 절대 안 되지. preserve_thinking 플래그가 제대로 작동하는지 확신이 없어서 이 템플릿은 안 쓸란다.

Zed Agent에 이 템플릿으로 첫 프롬프트 넣었더니 이런 게 뜸: "jinja 템플릿으로 프롬프트 렌더링 오류: 'Unknown test: sequence'". 이건 보통 모델의 프롬프트 템플릿 문제임. 유명한 모델이라면 lmstudio-community에서 수정된 템플릿을 찾아봐라. 못 찾겠으면 디스코드나 깃허브 이슈 트래커에 올려. 아니면 jinja 템플릿 쓸 줄 알면 직접 수정하든가...

원문r/LocalLLaMA