PSA: llama-server에서 Qwen3.6 사용 시 chat-template-kwargs의 공백 주의
PSA: Watch out for extra spaces in chat-template-kwargs when using Qwen3.6 with llama-server
핵심 요약
llama-server 설정 파일에서 JSON 공백 때문에 파싱 오류가 발생할 수 있으니 주의해야 합니다.
- 설정 파싱 오류 — llama-server의 ini 파일에서 chat-template-kwargs 내 공백이 있으면 파싱이 깨짐.
- 해결 방법 — JSON 문자열 내 불필요한 공백을 제거하여 설정값을 입력해야 함.
- 테스트 방법 — 생각(thinking) 기능이 일관되게 작동하는지 프롬프트로 확인 가능함.
- 환경적 요인 — ini 파일 처리 방식에 따라 특정 환경에서만 발생하는 버그일 가능성이 있음.
여러분, llama-server를 통해 Qwen3.6을 실행하시는 분들을 위해 미리 알려드립니다. 저는 models.ini 설정에서 preserve_thinking 파라미터를 명시적으로 활성화했음에도 불구하고, 예상대로 작동하지 않는 문제를 겪었습니다.
조사해 본 결과, JSON 문자열에 포함된 불필요한 공백이 제 빌드 환경에서 해당 파라미터의 파서를 망가뜨리고 있다는 사실을 발견했습니다.
❌ 작동하지 않음:
chat-template-kwargs = { "preserve_thinking": true }
✅ 작동함:
chat-template-kwargs = {"preserve_thinking": true}
테스트 방법:
작동 여부를 확인하는 가장 쉬운 방법은 다음 프롬프트를 보내보는 것입니다:
think of a number from 1 to 100, don't tell me what it is, I'm going to guess it
그런 다음 추론/생각(reasoning/thinking) 출력을 확인하여 "숨겨진" 숫자가 추측하는 동안 일관되게 유지되는지 확인하세요. 만약 숫자가 바뀐다면, 템플릿 kwargs가 잘못 파싱되고 있을 가능성이 큽니다.
제 환경:
llama-server v9102 (7d442abf5) | RTX 4090
llama-server가 ini 파일 내의 JSON을 처리하는 방식에서 발생하는 사소한 파싱 문제일 수 있지만, 확실히 확인해 볼 가치가 있습니다. 누군가의 디버깅 시간을 아껴줄 수 있기를 바랍니다!
