r/LocalLLaMA•4개월 전•71•44
Jackrong/Qwopus3.5-9B-Coder-GGUF · 허깅페이스
Jackrong/Qwopus3.5-9B-Coder-GGUF · Hugging Face
핵심 요약
에이전트 코딩과 툴 호출에 최적화된 9B 모델로, 일반적인 노트북 환경에서도 원활한 성능을 제공합니다.
- 최적화된 성능 — 에이전트 코딩과 복잡한 툴 호출에 특화되어 논리적 추론 능력이 뛰어남.
- 하드웨어 효율성 — 9B 파라미터 모델로 16GB RAM 환경에서 8비트 정밀도로 원활하게 구동됨.
- 학습 전략 — Trace Inversion 데이터 증강과 고품질 에이전트 트레이스를 결합해 코드 작성 및 디버깅 성능을 강화함.
- 실용적 활용 — 터미널 명령, 파일 작업, 브라우저 제어 등에서 안정적인 툴 호출 기능을 제공함.
Qwopus3.5-9B-coder는 고성능 에이전트 코딩, 복잡한 툴 호출, 논리적 추론을 위해 특별히 최적화 및 파인튜닝된 모델입니다.
💡 왜 9B 밀집 모델인가? 우리는 9B 밀집 아키텍처가 거대 언어 모델의 완벽한 '스위트 스팟'이라고 믿습니다. 일반 노트북이나 Mac mini와 같은 16GB RAM 입문용 기기에서 8비트 정밀도로 원활하게 실행되며, 매우 가벼우면서도 다재다능합니다. 비싼 하드웨어 없이도 뛰어난 성능과 인상적인 추론 속도를 얻을 수 있습니다. 간단히 말해, Qwen3.5-9B는 현재 동급 최고의 오픈 소스 모델입니다.
🛠 학습 전략
이 모델의 파인튜닝 과정은 Trace Inversion 데이터 증강 기술과 고품질의 에이전트 트레이스를 깊이 통합했습니다. 이러한 체계적인 접근 방식은 모델의 복잡한 프로그래밍 작업 해결 능력을 강화할 뿐만 아니라, 다양한 도구를 사용할 때의 논리적 일관성과 정확도를 크게 향상시킵니다.
이 모델은 다음과 같은 목표를 위해 특별히 설계되었습니다:
- 🧩 더 구조화되고 강력한 논리적 추론 능력, 반복적인 사고 감소
- 💻 코드 작성, 디버깅 및 저장소 수준의 작업 처리 능력 강화
- 🛠 터미널 명령, 파일 작업 및 브라우저 제어를 위한 더 안정적이고 정확한 툴 호출 기능
- 🔁 더 나은 교차 데이터 소스 증류 정렬
모든 벤치마크는 모델 카드를 확인하세요.
MTP를 사용하면 ~10GB VRAM에서 더 빠르고 좋게 작동할 것으로 기대합니다. 8GB VRAM만으로도 에이전트 코딩을 하면서 좋은 t/s를 얻을 수 있다니 좋네요.
