r/LocalLLaMA•4개월 전•18•38
Ollama와 LMStudio에서 다른 도구로 넘어가려 합니다
Looking to migrate off of Ollama and LMStudio
핵심 요약
Ollama와 LMStudio의 속도 개선을 위해 더 나은 로컬 LLM 구동 도구를 찾는 중입니다.
- 도구 전환 고민 — Ollama와 LMStudio의 속도 문제로 vLLM이나 llama.cpp로의 이전을 고려함.
- 하드웨어 사양 — 64GB RAM과 RTX 5000 환경에서 최적의 추론 성능을 내는 도구를 찾음.
- 사용 사례 — 코드 추론, 이메일 교정, OpenWebUI를 통한 다중 사용자 채팅 환경을 구축함.
- 커뮤니티 추천 — 대부분 llama.cpp를 추천하며, vLLM은 성능은 좋지만 설정이 까다롭다는 의견이 많음.
안녕하세요,
현재 저는 코드 추론이나 이메일 교정 같은 작업에 Ollama와 LM Studio를 사용하고 있습니다. 이 분야에 경험이 많은 건 아니지만 더 성장하고 싶습니다.
지금까지는 아주 잘 작동했지만 가끔 속도가 좀 느립니다. 저는 Gemma 4와 Qwen을 사용하고, 최근에는 건강 관련 질문 테스트를 위해 OpenbioLLM 70B를 사용해 보기도 했습니다. 물론 VS Code나 JetBrains 도구들과도 연동해서 쓰고 있고요. 아내와 저만 사용하는 채팅 환경을 위해 Open WebUI도 사용 중입니다.
속도 개선이 있을지 확인해 보려고 vLLM이나 llama.cpp를 시도해 볼까 생각 중입니다.
제 사양은 64GB RAM + RTX 5000, Ubuntu 26.04입니다.
ChatGPT에게 어떤 걸 써야 할지 물어봤더니 그냥 Ollama를 계속 쓰라고 하더군요 :/
읽어주셔서 감사합니다.
