Cohere의 미출시 코딩 모델 (r/LocalLLaMA 대상 얼리 액세스)
Cohere's unreleased coding model (early access for localllama)
핵심 요약
Cohere가 커뮤니티 피드백을 위해 30B 코딩 모델을 로컬 환경용으로 선공개했습니다.
- 모델 사양 — 30B 파라미터에 3B 활성 파라미터를 가진 코딩 특화 모델임
- 커뮤니티 협업 — 공식 출시 전 로컬 사용자들의 피드백을 직접 수렴함
- 배포 방식 — 현재 Hugging Face를 통해 가중치를 공개함
- 인프라 지원 — llama.cpp 지원 부족이 주요 피드백으로 제기됨
huggingface.co
원문 사이트로 이동
안녕하세요, Cohere의 Nick입니다. 지난주에 Command A+에 보내주신 모든 피드백에 감사드립니다. 다른 릴리즈에 대한 스레드를 항상 읽어보곤 했는데, 우리 모델에 대한 스레드를 읽으니 정말 즐거웠습니다 :) 앞으로 이런 소통을 더 많이 하고 싶습니다.
실제로 곧 출시할 첫 번째 코딩 모델을 준비 중인데, 공식 출시 전에 이 커뮤니티에 테스트 기회를 드리고 피드백을 받고 싶었습니다. 색다른 시도를 해서 여러분이 직접 도와주시면 어떨까 생각했습니다.
이 모델은 30B 모델로 3B 활성 파라미터를 가지고 있어 로컬 환경에서도 잘 돌아갑니다. 현재는 저희 Hugging Face에 올라와 있습니다(곧 공식 출시와 함께 더 많은 플랫폼을 지원할 예정입니다). 모델은 작지만 팀에서는 속도에 대해 기대가 큽니다. 비슷한 규모의 모델들과 비교했을 때 토큰 출력 테스트 결과가 준수하게 나오고 있습니다.
가중치는 여기에 있습니다. 다시 말씀드리지만 아직 공개 출시된 상태는 아니며(완벽하게 준비된 것도 아닙니다), 여러분이 시도하려는 작업에 맞춰 모델을 테스트해 보시길 권장합니다. 이번 릴리즈를 통해 배운 점을 바탕으로 모델을 개선하는 것이 목표이므로, 현재 이 모델이 어떻게 사용되는지가 향후 개발 방향을 결정하는 데 중요한 역할을 할 것입니다.
직접 확인해 보시고 어떤지 알려주세요. 여러분의 의견이 정말 기대됩니다. 감사합니다 :)
