r/LocalLLaMA•3개월 전•258•246

Qwen 3.6 27B 모델, 에이전트 작업에서 완전히 실패함

Qwen 3.6 27B absolutely fails at agentic work

핵심 요약

Qwen 3.6 27B 모델이 에이전트 작업에서 잦은 오류를 일으키는 문제를 논의하며, 설정 최적화 방안을 찾습니다.

모델 성능 저하 — 27B 모델이 에이전트 작업 시 지시를 따르지 않고 엉뚱한 행동을 반복함
설정 최적화 — 'preserve_thinking' 옵션 활성화가 모델의 논리적 일관성 유지에 필수적임
추가 설정 제안 — '--swa-full' 옵션 추가 및 시스템 프롬프트 간소화가 성능 개선에 도움됨
지속되는 문제 — 설정 변경 후에도 여전히 환각 현상과 파일 삭제 등 치명적인 오류가 발생함

Qwen 3.5 122B 모델을 4비트로 꽤 오랫동안 돌려왔고, 최근에는 Llama.cpp가 VLLM과 비슷한 성능을 내게 되면서 5비트로 돌리기 시작했습니다.

또한 Qwen 3.6 27B 모델이 122B보다 낫다는 주장이 많아서 8비트와 16비트로 여러 번 시도해 보았습니다.

단일 프롬프트에서는 확실히 더 낫긴 합니다. 매우 인상적인 데모 HTML 페이지를 출력해 주거든요. 3.5 시리즈 모델보다 훨씬 긴 콘텐츠를 생성할 수 있는 능력도 갖추고 있습니다.

하지만 에이전트 작업에서는 완전히 무너집니다. 끊임없이 실수를 저지르고 지시를 따르지 않습니다. 모델이 엉망으로 만들지 않게 할 방법이 없네요. 4번 정도 턴이 지나면 완전히 멍청한 짓을 합니다.

저만 이렇게 느낀 건가요? 27B를 어떻게든 써보려고 다시 시도했다가 결국 122B로 돌아왔습니다.

Llama.cpp, Git에서 나이트리 빌드, RTX 6000 사용 중입니다.

원문

커뮤니티 목록

r/LocalLLaMA•3개월 전•258•246

Qwen 3.6 27B 모델, 에이전트 작업에서 완전히 실패함

Qwen 3.6 27B absolutely fails at agentic work

핵심 요약

Qwen 3.6 27B 모델이 에이전트 작업에서 잦은 오류를 일으키는 문제를 논의하며, 설정 최적화 방안을 찾습니다.

모델 성능 저하 — 27B 모델이 에이전트 작업 시 지시를 따르지 않고 엉뚱한 행동을 반복함
설정 최적화 — 'preserve_thinking' 옵션 활성화가 모델의 논리적 일관성 유지에 필수적임
추가 설정 제안 — '--swa-full' 옵션 추가 및 시스템 프롬프트 간소화가 성능 개선에 도움됨
지속되는 문제 — 설정 변경 후에도 여전히 환각 현상과 파일 삭제 등 치명적인 오류가 발생함

Qwen 3.5 122B 모델을 4비트로 꽤 오랫동안 돌려왔고, 최근에는 Llama.cpp가 VLLM과 비슷한 성능을 내게 되면서 5비트로 돌리기 시작했습니다.

또한 Qwen 3.6 27B 모델이 122B보다 낫다는 주장이 많아서 8비트와 16비트로 여러 번 시도해 보았습니다.

저만 이렇게 느낀 건가요? 27B를 어떻게든 써보려고 다시 시도했다가 결국 122B로 돌아왔습니다.

Llama.cpp, Git에서 나이트리 빌드, RTX 6000 사용 중입니다.

주요 댓글

r/localllama

Qwen 3.6 27B의 에이전트 작업 성능 저하 문제에 대해 사용자들은 높은 양자화 설정과 템플릿 최적화의 중요성을 강조하고 있습니다.

156

3.6 27b를 더 안정적으로 쓰려고 이거 시도해 봤어? 에이전트 워크플로우 관련 버그 몇 개 고쳐줌:

https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates

이게 정답임, 작성자야

진짜 효과 있음?

이 템플릿 쓰기 전에는 루핑이나 툴 콜 문제 있었는데 이거 쓰고 해결된 거야?

어떤 사람들은 애초에 아무 문제도 없던데, 혹시 그런 케이스인지 궁금해서.

이 방식이 나한테는 통했음. Ollama가 문제였던 거라 지금은 템플릿 써서 llama.cpp 쓰는 중인데 아주 좋음.

나도 Llama.cpp랑 vllm에 고정 템플릿 쓰니까 잘 돌아감.

나도 그거 쓰고 있는데 비슷한 문제 겪었어. 내 글 보니까 다들 Q4는 못 쓸 수준이라고 하더라고. 그래서 Q6으로 이 템플릿들 다시 시도해 보려고.

난 무조건 Q8이나 Q16으로만 돌림. 내 생각엔 낮은 양자화 한계는 답이 없음. 장시간 작업 많이 돌리면 아주 작은 퍼센트 차이도 문제 터질 확률을 엄청나게 높이거든.

그게 아직도 효과가 있나? 난 그런 수정 사항들이 최신 GGUF에 다 통합됐고, 처음에 나온 GGUF에만 적용되는 줄 알았는데?

opencode 쓸 때도 이게 필요한가?

어떤 harness를 쓰든 도움은 될 거라 보는데, 직접 테스트해보진 않았음. 난 ghcp cli랑 pi.dev 씀.

올바른 추론 파라미터를 사용하고 계신가요? 예를 들어 preserve_thinking 같은 거요.

어떤 파라미터를 쓰시는지 공유해주실 수 있나요?

그게 큰 차이를 만든다면 preserve thinking을 활성화해 볼 수는 있어요. 하지만 컨텍스트를 많이 잡아먹어서, 122B 모델 쓸 때는 보통 그렇게 안 하거든요.

./build/bin/llama-server \ -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q8_K_XL \ -a qwen/qwen3.6-27B \ --jinja \ --host 0.0.0.0 \ --port 11434 \ --no-mmap \ -fa on \ -kvu \ --temp 0.6 \ --top-p 0.95 \ --top-k 20 \ --min-p 0.00 \ --spec-type draft-mtp --spec-draft-n-max 6

원문r/LocalLLaMA