r/LocalLLaMA•3개월 전•113•54
North Mini Code 업데이트: 4비트 양자화 + Ollama + OpenRouter 지원
Updates on North Mini Code: 4 bit quant + Ollama + OpenRouter
핵심 요약
North Mini Code 모델이 4비트 양자화, Ollama, OpenRouter를 지원하며 접근성이 대폭 개선되었습니다.
- 4비트 양자화 — Hugging Face에서 20GB 규모의 모델을 다운로드하여 로컬 하드웨어에서 구동 가능함
- Ollama 지원 — llama.cpp 기반 런타임 및 OpenRouter API를 통해 더 많은 개발자가 활용 가능함
- 커뮤니티 기여 — oMLX 구현 및 GGUF 양자화 등 커뮤니티의 적극적인 지원으로 성능이 개선됨
- 기술적 최적화 — QAD(Quantization-Aware Distillation) 기술을 적용하여 양자화 손실을 최소화함
huggingface.co
원문 사이트로 이동
안녕하세요!
모델을 더 휴대하기 쉽고 접근하기 좋게 만들어달라는 피드백을 들었습니다. 그래서 그에 맞춰 두 가지 업데이트를 공유합니다.
첫째, Hugging Face에서 새로운 4비트 양자화 버전을 바로 가져올 수 있습니다. 이제 Mac이나 여러분이 가진 로컬 하드웨어에서 실행할 수 있을 만큼 작아졌습니다. 약 20GB 정도 필요하니 그 정도 사양이면 바로 사용 가능합니다.
둘째, North Mini Code는 이제 Ollama와 llama.cpp 기반의 다른 모든 로컬 런타임에서 지원되며, OpenRouter API를 통해서도 이용할 수 있습니다. 더 많은 접근성을 원하셨던 분들이 많다는 걸 알고 있기에, 이번 업데이트로 더 많은 개발자가 멋진 것들을 만들어낼 수 있기를 바랍니다.
전체 문서는 여기에 있습니다. 여러분의 의견이 정말 궁금합니다 :)
