qwen3.6-27b tools call loop
Qwen3.6-27b 모델 사용 시 발생하는 툴 호출 무한 루프 문제의 원인과 해결책을 논의합니다.
Qwen3.6-27b에서 툴 호출 루프 문제 겪고 있는 사람 또 있어? 이틀 동안 temperature, top-k 같은 파라미터들을 만져봤는데도 문제가 해결되지 않아. 어느 정도까지는 잘 작동하다가 가끔 툴 호출이 반복되는 무한 루프에 빠져버려.
qwen3.6-27b의 tool call 루프 문제와 관련해 모델 설정, MTP draft token, 그리고 llamacpp의 캐시 버그에 대한 기술적 논의가 이어지고 있음.
너한테 불리하게 작용하는 요소가 몇 개 있네. heretic 파인튜닝, 양자화된 KV 캐시, 그리고 NVFP4 말이야. 일단 순정 모델로 시작해서 문제없는지 보고, 그래도 안 되면 KV 캐시 양자화부터 빼봐.
heretic 파인튜닝 자체가 툴 호출 루프 측면에서 근본적인 문제가 있는 거야?
전문 연구소나 기업에서 나온 모델은 가중치 전반에 걸쳐 균형 잡힌 성능을 내기 위해 신중하게 선별된 데이터와 훈련 방식으로 파인튜닝 돼.
heretic 같은 파인튜닝이나 가중치 조작은 제대로 하지 않으면 그 균형을 깨뜨리고 모델 성능을 저하시킬 위험이 있어. 여기에 가중치와 KV 캐시 전반에 걸친 과도한 양자화까지 더해지면 그런 문제들은 더 커질 뿐이지.
수정: heretic 스타일의 abliteration은 확실히 …를 억제하는 데 더 무식한 방법을 써.
나도 동감함. 언센서링이나 '속도 향상'이나 둘 다 제로섬 게임임.
응, 그렇게 하고 있어. 다른 체크포인트로 시도하면서 작동하는 가장 단순한 명령어를 찾아보려고.
내가 만든 벤치마크 스크립트로 찾은 모든 nvfp4 모델들을 테스트해봤는데, 이 heretic 모델이 masi tok/s 측면에서 성능이 아주 좋았거든. 이 루프가 발생하기 전까지는 말이지.
/u/la_rent_aficionado 의견에 동의해. 내 경험상 나는 Q6_K unsloth 양자화, Q8_0 KV 캐시를 사용하고, 전체 컨텍스트 윈도우를 128K로 제한해. 그 이상 넘어가면 이상해지더라고. 네 VRAM 예산(나는 이 설정을 돌릴 때 32GB 사용)에 맞을지는 모르겠지만, 꽤 잘 작동해. 4비트 양자화(NVFP4 포함), 의심스러운 파인튜닝 모델, 과도하게 양자화된 캐시 모두 내 환경에서 모델을 이상하게 만드는 원인이 되더라고.
모델 설정 좀 공유해줄 수 있어?
이 설정에 대한 몇 가지 참고 사항:
참고로 preserve thinking은 이제 안 씀. --reasoning on을 써야 함
오 좋네, 확인해 봐야겠다.
방금 5090으로 qwen3.6 27b 테스트 엄청 돌려봤음. 퀀트도 이것저것 다 해보고 beellama kvarn 포크도 써봤는데, 27b q6 ud kxl로 큰 컨텍스트를 쓰거나 제한된 컨텍스트에서 27b q8을 돌릴 수 있어서 흥미로웠음. 근데 kvarn kv cache 쓰니까 tokens/sec가 너무 안 나오고 tool calls도 답답할 정도로 느려서 그냥 포기함. 또 MTP draft tokens도 엄청 테스트해 봤는데, claude한테 llamacpp 코드랑 qwen3.6 모델 검토하게 시켰더니 이렇게 조언하더라…
모델 설정 전체 공유 좀 해줄 수 있음? 그리고 acceptance rate가 떨어졌다는 게, 모델이 제안한 코드에 대한 수락률을 말하는 거임?
이건 내 docker compose 파일 내용임. llamacpp에 qwen3.6 sliding window attention cache 관련 버그가 있는데, 캐시가 멀쩡한데도 prompt caches가 무효화되면서 재처리 시간이 추가로 발생함. 이 버그는 대부분의 시간 손실을 없애주는 작은 패치로 어느 정도 해결 가능함. claude랑 한참 검토해 봤는데 제대로 된 수정은 너무 복잡하고, 이 우회 패치로 거의 해결된다는 결론이 나왔음. llama-cpp 로그 보면…
acceptance rate는 mtp draft token acceptance rate를 말하는 거임. draft token 시스템이 얼마나 효율적으로 돌아가는지 측정하는 지표임.
고마워!
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.