r/LocalLLaMA•3개월 전•40•91
제가 너무 많은 걸 바라는 건가요?
Am I Expecting Too Much?
핵심 요약
RTX 5090 환경에서 Qwen 27B 모델로 코딩을 시도 중인 사용자가 겪는 성능 문제와 설정에 대한 조언을 구하는 글입니다.
- 성능 문제 — Qwen 27B 모델이 코딩 작업에서 잦은 문법 오류와 잘못된 터미널 명령어를 생성함
- 양자화 논쟁 — 코딩 작업 시 Q4보다는 Q6 이상의 높은 양자화 수준이 필수적이라는 의견이 지배적임
- 설정 최적화 — 모델 카드 권장 파라미터 사용 및 온도 조절, KV 캐시 설정 변경 등이 해결책으로 제시됨
- 하드웨어 활용 — 5090의 VRAM을 활용해 더 높은 양자화와 최적의 설정을 찾는 과정이 필요함
Claude Code가 정말 유용하다는 걸 알게 된 후 로컬 코딩 지원을 시작해보려 했는데, 수많은 문제에 부딪히고 있습니다.
RTX 5090에서 Qwen 3.6 27B UD_4 모델을 131K 컨텍스트, KV 양자화 없이, Unsloth로 양자화된 버전으로 돌리고 있습니다. VS Code의 Cline을 사용 중인데, Claude Code와 가장 비슷해 보였기 때문입니다.
최근에는 Fable로 만든 계획들을 구현해보고 싶었습니다. Fable을 통해 꽤 기본적인 파이썬 앱에 대한 주니어 엔지니어 친화적인 상세 구현 계획을 준비했고, 그걸 레포에 넣었습니다.
하지만 Qwen으로는 아무것도 할 수가 없네요. 수많은 실수가 포함된 코드를 작성하고, 기본적인 문법 오류가 있는 터미널 명령어를 쓰려고 하는 등 문제가 많습니다. 아주 상세한 단계별 계획조차 제대로 따라가지 못합니다.
분명히 말씀드리자면, Opus 수준의 성능이나 Sonnet 수준의 작업을 기대하는 건 아닙니다. 하지만 하네스 내부에서나 기본적인 터미널 호출을 통해서도 전혀 작동하지 않습니다.
제가 너무 많은 걸 바라는 건가요?
제 접근 방식이나 설정에 뭔가 잘못된 게 있을까요?
바꿔야 할 더 나은 하네스나 모델이 있을까요?
