r/LocalLLaMA•5개월 전•123•163
다들 진짜 로컬 도구 호출을 쓰고 있는 거야, 아니면 다 같이 장난치는 거야?
Are you guys actually using local tool calling or is it a collective prank?
핵심 요약
로컬 모델의 도구 호출 기능이 제대로 작동하지 않아 답답함을 느낀 작성자가 커뮤니티에 설정 문제인지 모델 한계인지 질문함.
- Open WebUI 문제 — 로컬 모델의 도구 호출 기능이 환각이나 무한 루프에 빠지는 등 불안정한 모습을 보임.
- 설정 오류 가능성 — 네이티브 도구 호출 설정 미비나 낮은 양자화 수준이 원인일 수 있다는 의견이 많음.
- 대안 도구 추천 — OpenCode나 Cline 같은 다른 인터페이스가 도구 호출 작업에 더 안정적이라는 평가가 지배적임.
- 모델 성능 차이 — Qwen 3.6 등 특정 모델은 도구 호출 시 더 나은 성능을 보이지만 환경 설정에 따라 결과가 크게 달라짐.
내가 뭘 잘못하고 있는 건지 모르겠는데, Docker에서 Terminal과 함께 Open WebUI를 돌리고 LM Studio에서 모델을 실행 중이야. 커뮤니티에서 도구 호출 기능을 칭찬하는 게 그냥 정신승리하려고 그러는 게 아닌가 싶기 시작했어 lol
Qwen3.5 27B, 35B, Gemma4 26B, Qwen3.6 35B, GPS-OSS 20B - Unsloth에서 추천하는 파라미터를 사용해서 다 시도해 봤는데, 데이터를 담은 단일 파일을 만들라고 하면 작동할 때조차 엄청 까다로워.
오늘 Gemma4로 해봤는데, 폴더랑 파일을 만들었다고 계속 장담하더니 아무것도 없었어. Qwen3.6은 빈 .html 파일을 내가 요청한 현대적인 웹사이트라고 가스라이팅 하더라고. 환각이 아니면 executing 루프에 빠져버려.
컨텍스트를 과하게 넣는 것도 아니고(그냥 평범한 프롬프트 2~3개), 모호하게 묻거나 복잡한 걸 요청하는 것도 아니야. 이게 그냥 작은 로컬 모델의 한계인 거야, 아니면 내가 뭘 잘못하고 있는 거야?
