r/LocalLLaMA•20일 전•88•104논쟁
모호할 때 멈추고 질문하는 능력이 뛰어난 로컬 모델이 있을까?
Which local model is actually good at knowing when to stop and ask you a question?
핵심 요약
로컬 모델이 모호한 상황에서 스스로 멈추고 사용자에게 질문하게 만드는 방법과 모델 자체의 능력에 대해 논의합니다.
- 하네스 역할 — 모델의 판단보다 하네스(harness)가 정보를 어떻게 제시하고 제어하느냐가 더 중요함
- 프롬프트 엔지니어링 — 모호함 발생 시 질문하도록 명확한 조건을 설정하는 것이 효과적임
- 모델별 차이 — 하네스가 동일해도 모델마다 질문을 던지는 빈도와 신뢰도가 다름
- 구현 방식 — 에이전트가 작업을 수행하는 도중 하네스가 개입하여 질문을 유도하는 방식이 권장됨
요즘 에이전트형/로컬 코딩 모델들을 좀 써보면서 든 생각인데.
요즘 나오는 모델들 보면 혼자서 알아서 척척 잘 이어가는 게 놀라울 정도임.
근데 가끔은 그게 오히려 문제인 것 같아.
요구사항이 애매할 때는 모델이 그냥 멈추고 나한테 물어봐 줬으면 좋겠거든.
“A를 말하는 거야, 아니면 B를 말하는 거야?”라고 말이지.
괜히 10분 동안 혼자 추론하고, 지 맘대로 가정하고, 툴 호출까지 다 끝낸 다음에 엉뚱한 걸 자신 있게 만들어 놓는 것보다 훨씬 낫잖아.
근데 벤치마크 같은 데서 이런 부분에 대해 다루는 걸 거의 못 본 것 같음. 코딩 능력, 추론, 툴 사용, 컨텍스트 길이 같은 건 다 측정하는데, 정작 모델이 정보가 부족할 때 멈출 줄 아는지에 대해서는 별로 안 따지는 듯.
그래서 매일 로컬에서 모델 돌리는 형들한테 진짜 궁금한 게 있는데,
이런 면에서 제일 괜찮다고 느낀 모델이 뭐야?
그리고 이게 모델 자체의 성능이야, 아니면 시스템 프롬프트나 에이전트 하네스(harness) 설정 차이인 거야?
