Cohere 모델의 llama.cpp 지원 소식
llama.cpp support for Cohere models
핵심 요약
Cohere가 llama.cpp 지원을 공식화하며 최신 모델 아키텍처의 호환성을 확보했습니다.
- llama.cpp 지원 — 최신 비전 인코더 모델이 llama.cpp와 호환됨
- 모델 아키텍처 — Command A+ 및 North Mini Code와 동일한 구조 사용
- Cohere Transcribe — Unsloth에서 파인튜닝 가능한 고성능 STT 모델 제공
- 커뮤니티 피드백 — 사용자 요청을 반영하여 로컬 실행 환경 개선
github.com
원문 사이트로 이동
안녕 형들, Cohere의 Nick이야. 진짜 오랜만이지.
올해 초에 Command A+ 출시하고 North Mini Code 베타 테스트할 때 형들이랑 같이해서 정말 즐거웠어. 형들이 준 피드백 덕분에 우리 모델이랑 서비스 퀄리티가 진짜 많이 좋아졌거든. 그중에서도 제일 많이 들었던 요청이 llama.cpp 지원이었는데, 이 갤러리 성격 생각하면 당연한 거였지. 그 약속 지키기 전까지는 여기 다시 글 안 쓰려고 버텼는데, 드디어 진전이 좀 있어서 기쁜 마음으로 글 써.
우리 팀이 최근에 North Micro Vision Instruct의 비전 인코더에 대한 llama.cpp 지원을 머지했어. 이제 우리 최신 모델 아키텍처 전부 다 llama.cpp에서 돌아간다는 뜻이야. (LLM 쪽은 이미 형들 같은 능력자들 덕분에 North Mini Code랑 Command A+ 아키텍처랑 똑같이 지원되고 있었고.) North Micro Vision은 우리 신규 릴리즈 몇 개의 베이스로 쓰이고 있는데, 형들이 그렇게 원하던 지원을 드디어 해줄 수 있게 돼서 진짜 기분 좋다. 한번 써보고 의견 좀 알려줘. 이제 시작일 뿐이고, 앞으로 더 많은 거 가져올게.
비슷한 맥락에서, 이제 Unsloth랑 Unsloth Studio에서 Cohere Transcribe 파인튜닝도 가능해졌어. 이거 진짜 미친 성능의 STT 모델이라 현존하는 것 중 최고 수준이거든. r/unsloth 형들 팬이라면 (우리도 완전 팬임) 꼭 한번 돌려봐.
피드백 항상 고맙고, Cohere한테 또 뭐 필요한 거 있으면 언제든 말해줘.
