r/LocalLLaMA•4개월 전•25•16
whichllm 도구의 정확도는 어느 정도인가요?
How accurate can “whichllm” be?
핵심 요약
4~6GB VRAM 환경에서 로컬 모델을 구동하려는 사용자가 whichllm 도구의 신뢰성과 모델 추천 목록의 정확도에 대해 조언을 구하고 있습니다.
- 하드웨어 제약 — 4~6GB VRAM 환경에서 구동 가능한 모델을 탐색함
- 도구 신뢰성 — whichllm이 제시하는 모델 목록의 정확도에 의문을 제기함
- WSL 환경 — 리눅스 환경에서 하드웨어 정보 인식 오류 가능성을 언급함
- 커뮤니티 조언 — 도구의 결과를 절대적 진리가 아닌 참고용 가이드로 활용할 것을 권장함
안녕하세요. 질문은 명확하다고 생각하지만, 맥락을 조금 더 추가하고 싶습니다. 저는 직장에서 내부 도구를 개발하고 있는데, 일부는 개발자용이고 대부분은 마케팅 및 공장 생산용입니다. 현재 로컬 모델을 사용하는 작은 CLI 도구를 작업 중인데, 업무용 노트북의 VRAM이 4~6GB라 모델은 작아야 합니다. qwen2.5-coder-instruct 3b를 사용해 좋은 결과를 얻고 있지만, 다른 모델들도 탐색해보고 싶어서 제 기기에서 어떤 모델을 돌릴 수 있는지 알고 싶습니다.
보시다시피 온라인에서 찾아봤고, 제 기기에서 무엇을 돌릴 수 있는지 확인하는 도구 중 하나가 이것이었습니다. 목록 대부분은 납득이 가지만, gpt-oss-20b와 qwen3.6-27b가 있는 걸 보고 놀랐습니다. 그래서 위와 같은 질문을 하게 되었습니다.
리눅스가 WSL 내부에서 실행 중이라 RAM과 여유 디스크 용량이 부정확하게 표시되는 것 같다는 점 참고해주세요.
로컬 모델에 대해 잘 알지 못하고 이전에는 ollama 사용으로 제한되어 있었기 때문에, 이 주제에 대해 더 잘 아시는 분들의 의견을 듣고 싶습니다.
모두 감사합니다.
