r/LocalLLaMA•5개월 전•286•99
왜 오픈소스 도구들은 llama.cpp를 제대로 대우해주지 않는 걸까?
Why doesn't any OSS tool treat llama.cpp as a first class citizen?
핵심 요약
오픈소스 AI 도구들이 llama.cpp 대신 Ollama 위주로 지원하는 현상에 대한 불만과 개선 요구.
- API 호환성 부족 — 많은 도구가 llama.cpp를 직접 지원하기보다 Ollama나 LMStudio에 의존함.
- 범용성 요구 — 특정 도구에 종속되지 않는 OpenAI API 호환 엔드포인트 지원을 원함.
- 생태계 기여 논란 — Ollama가 llama.cpp의 성과를 가져가면서도 생태계에 기여하지 않는다는 비판.
- 사용성 개선 — llama.cpp가 일반 개발자도 쓰기 편해졌음에도 불구하고 도구 지원이 부족함.
오픈소스 AI 도구든 VS Code Copilot 확장 프로그램이든, llama.cpp를 1등 시민(first class provider)으로 대우하는 경우를 거의 못 봤음. 하나같이 Ollama는 기본이고 가끔 LMStudio 정도나 지원함. 엔지니어링 관점에서 llama.cpp를 Ollama와 동등하게 리스트에 올리는 건 노력도 안 함. 아니면 그냥 라벨에 상관없는 OpenAI API 호환 엔드포인트로 만들어서 포트 번호나 엔드포인트를 직접 입력하게 해주면 될 텐데.. 특히 Ollama가 llama.cpp에서 훔쳐가면서도 생태계에 제대로 기여하지 않는데도 여전히 인기를 독차지하는 게 정말 짜증남. llama.cpp는 이제 일반 개발자(현재 사용자층의 대다수)가 쓰기에 매우 유용하고, 일반인도 충분히 쓸 만한 수준임.
이 글이 이런 도구를 만드는 개발자들에게 닿기를 간절히 바람..
