r/LocalLLaMA•4개월 전•248•62
Cohere North Mini Code 출시
Releasing Cohere North Mini Code
핵심 요약
Cohere가 커뮤니티 피드백을 반영한 코딩 모델 'North Mini Code'를 공식 출시했습니다.
- 모델 출시 — Hugging Face를 통해 가중치 공개 및 vLLM 지원
- 커뮤니티 소통 — 이전 피드백을 반영하여 vLLM 및 라이브러리 업데이트
- 향후 계획 — llama.cpp 지원 및 양자화 작업 내부 검토 중
- 기술적 상세 — 기술 블로그를 통해 벤치마크 및 학습 방식 공개
안녕 형들! Cohere의 Jay야. 주말 동안 피드백 진짜 많이 줘서 고마워. 덕분에 이번에 North Mini Code를 공식 출시하게 됐어. 형들이 궁금해했던 것들 좀 답해주고 모델에 대해 자세히 좀 알려주려고 왔어.
Hugging Face에서 가중치 다운받거나 (fp8 버전은 여기), OpenCode에서 무료로 써볼 수 있어. 영상에서 말한 내용 더 자세히 보고 싶으면 HuggingFace 기술 블로그나 공식 발표 글 한번 확인해봐!
vllm으로 배포할 형들은 새 릴리즈 나오기 전까지는 vLLM main 버전을 써야 해. 그리고 정확한 응답 파싱을 하려면 Cohere의 melody 라이브러리도 설치해야 하니까 참고하고.
uv pip install "git+https://github.com/vllm-project/vllm.git"
uv pip install cohere_melody>=0.9.0
그다음 아래 명령어로 vllm 서버를 띄우면 돼:
vllm serve CohereLabs/North-Mini-Code-1.0 \
-tp 2 \
--max-model-len 320000 \
--tool-call-parser cohere_command4 \
--reasoning-parser cohere_command4 \
--enable-auto-tool-choice
형들이 준 피드백 반영해서 더 잘 돌아가게 하려고 PR 몇 개 올렸어.
지난 글에서 건질만한 정보들:
- /u/germangrower69 형이 에 서드파티 MLX 버전 공유해줬어.
