r/LocalLLaMA•약 5시간 전•879•79논쟁

llama.cpp v1.0 출시 🦙

llama.cpp v1.0 is here 🦙

핵심 요약

Hugging Face의 Merve가 llama.cpp v1.0 출시와 함께 새로운 데스크톱 앱을 공개했습니다.

v1.0 출시 — llama.cpp의 첫 번째 메이저 버전이 공식적으로 릴리스됨.
데스크톱 앱 — 로컬 AI 접근성을 높이기 위한 llama.cpp 기반 앱이 공개됨.
유지보수 논란 — 프로젝트의 느린 PR 처리와 인력 부족에 대한 비판이 제기됨.
경쟁 프로젝트 — Strata 등 더 빠른 성능을 제공하는 대안 프로젝트와의 비교가 이어짐.

원본에서 제거된 영상입니다원문 보기

안녕 다들, 허깅페이스의 Merve야. 오늘 llama.cpp v1이 드디어 나왔어!

앞으로도 모든 플랫폼과 모델 타입을 계속 지원할 거고, llama.cpp를 기반으로 만드는 하위 애플리케이션들을 위해 가볍고 튼튼하게 유지할 생각이야.

온 김에 하나 더 알릴 게 있는데, llama.cpp를 기반으로 로컬 AI 진입 장벽을 몇 번의 클릭 수준으로 낮춘 Llama 데스크톱 앱을 출시했어. v1이랑 앱 관련 자세한 내용은 댓글에 링크 남겨둘게.

그동안 llama.cpp에 보내준 엄청난 사랑 정말 고마워 🦙❤️ 다들 건승!

수정: 링크 여기 추가할게, 제발 페널티 안 먹길.

블로그: https://huggingface.co/blog/ggml-org/llama-cpp-v1

Llama 데스크톱 앱은 여기 있어 https://llama.app/ ❤️

원문

커뮤니티 목록

r/LocalLLaMA•약 5시간 전•879•79논쟁

llama.cpp v1.0 출시 🦙

llama.cpp v1.0 is here 🦙

핵심 요약

Hugging Face의 Merve가 llama.cpp v1.0 출시와 함께 새로운 데스크톱 앱을 공개했습니다.

v1.0 출시 — llama.cpp의 첫 번째 메이저 버전이 공식적으로 릴리스됨.
데스크톱 앱 — 로컬 AI 접근성을 높이기 위한 llama.cpp 기반 앱이 공개됨.
유지보수 논란 — 프로젝트의 느린 PR 처리와 인력 부족에 대한 비판이 제기됨.
경쟁 프로젝트 — Strata 등 더 빠른 성능을 제공하는 대안 프로젝트와의 비교가 이어짐.

원본에서 제거된 영상입니다원문 보기

안녕 다들, 허깅페이스의 Merve야. 오늘 llama.cpp v1이 드디어 나왔어!

앞으로도 모든 플랫폼과 모델 타입을 계속 지원할 거고, llama.cpp를 기반으로 만드는 하위 애플리케이션들을 위해 가볍고 튼튼하게 유지할 생각이야.

그동안 llama.cpp에 보내준 엄청난 사랑 정말 고마워 🦙❤️ 다들 건승!

수정: 링크 여기 추가할게, 제발 페널티 안 먹길.

블로그: https://huggingface.co/blog/ggml-org/llama-cpp-v1

Llama 데스크톱 앱은 여기 있어 https://llama.app/ ❤️

주요 댓글

r/localllama

llama.cpp의 접근성과 기여에 대한 감사와 함께, 최근의 느린 개발 속도와 성능 최적화 문제에 대한 비판이 엇갈리고 있습니다.

131

메인테이너 좀 더 추가해 주세요. 오픈된 이슈랑 PR이 진짜 산더미예요.

더 혁신적인 것도 필요함. Lcpp는 Strata 같은 다른 프로젝트에 비해 눈에 띄게 뒤처져 있음. 최신 PR을 적용해도 NVMe 오프로딩은 Strata가 훨씬 뛰어남. 2년 전만 해도 매주 눈에 띄는 속도 향상이 있었는데, 지금은 완전히 정체된 느낌임.

동의함. 그리고 지금은 마음을 좀 바꾼 것 같고, 따라잡으려고 급하게 움직이는 것 같음. 예전에는 복잡한 PR을 오랫동안 거부하고 반대했는데, 그게 Strata 같은 포크를 낳았음. MoE 캐싱을 예로 들어보자. 몇 년 동안이나 PR이랑 제안이 있었는데 다 거절당했잖아! 'AI는 안 된다'느니 하면서. 그게 지금 대안들보다 훨씬 느려진 주된 이유임. 지금의 MoE 캐시 구현은 그냥 별로고, 마치 누군가 총구를 겨누니까 어쩔 수 없이 구현한 것처럼 보임. llama.cpp를 아주 오랫동안 썼는데, 몇 달 동안은 아예 쳐다도 안 봤음. 매주, 아니 그보다 더 자주 업데이트하던 사람으로서 이건 엄청난 변화임. 이제 진짜 경쟁자가 생겼거든. 예전엔 그런 거 없었다고 봄.

Strata는 구형 하드웨어를 지원 안 하지만 llama는 지원함.

맞음... 엔비디아의 Dory 같은 간단한 모델조차 제때 머지되지 않는 게 참 대단함: https://github.com/ggml-org/llama.cpp/pull/30306 이 모델은 사실상 이미 구식이지만, 처음 나왔을 땐 진짜 멋졌거든. 이 업계는 빠르게 변함. llama.cpp가 좋은 모델들을 빠르게 지원하지 못하면, 결국 도태되는 건 llama.cpp가 될 거임.

관심 있는 사람들을 위한 링크:

https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0
https://huggingface.co/blog/ggml-org/llama-cpp-v1

게시물에 추가하는 게 좋을 듯!

Strata나 gufo 스타일의 MoE 스트리밍 방식을 구현할 계획은 없음? '가장 성숙한' 프로젝트가 성능 면에서도 최고의 선택지가 되면 좋을 텐데. 지금은 수백만 개의 포크들이 생겨나서 마치 영화 스트리밍 서비스 문제랑 똑같은 상황이 벌어지고 있음.

이미 MoE 스트리밍 지원함 https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md

llama.cpp 팀 축하함. 덕분에 이 분야가 정말 접근하기 쉬워졌음.

고마워요, 당신들의 노고에 정말 감사함!

이 프로젝트가 없었다면 로컬에서 모델을 직접 돌려보면서 배운 것들을 절대 배우지 못했을 거임. 존경함.

❤️🦙

원문r/LocalLLaMA