r/LocalLLaMA•약 1개월 전•107•39
Ling 3.0 지원이 llama.cpp에 병합됨
Ling 3.0 support merged into llama.cpp
핵심 요약
새로운 추론 모델인 Ling 3.0이 llama.cpp에 공식 지원되어 사용자들이 즉시 GGUF 양자화 버전을 공유하며 환호하고 있습니다.
- 모델 지원 — Ling 3.0 tiny 및 flash 모델이 llama.cpp에 병합됨
- 추론 모델 — 두 모델 모두 기존 명칭과 달리 추론 능력을 갖춘 모델임
- GGUF 공유 — 사용자들이 즉시 양자화된 GGUF 파일을 배포하기 시작함
- 기술적 논의 — KV 캐시 양자화 필요성 및 모바일/엣지 기기 활용에 대한 논의 진행
새로운 Ling 3.0 모델 지원이 llama.cpp에 병합됐다:
https://github.com/ggml-org/llama.cpp/pull/26608#event-29549472828
Ling tiny 8b1b - https://huggingface.co/inclusionAI/Ling-3.0-tiny
Ling flash 124b5b - https://huggingface.co/inclusionAI/Ling-3.0-flash
둘 다 기존 작명 방식이랑 다르게 추론 모델임.
