r/LocalLLaMA•약 4시간 전•11•22논쟁
애플의 구성 도구에 지쳐서, 로컬 AI용 구성 도구를 직접 만들었습니다
I got tired of Apple's configurator, so I built one for local AI
핵심 요약
로컬 LLM 구동을 위한 맥 사양 선택을 돕는 웹 기반 구성 도구 'modelfit.io'를 개발하여 공유함.
- 구성 도구 개발 — 맥 사양별 로컬 LLM 구동 효율과 속도를 실시간으로 확인 가능함
- 데이터 기반 추정 — 실제 llama-bench 실행 결과를 바탕으로 모델별 속도와 오차 범위를 제공함
- 사용자 피드백 요청 — 맥 사양 선택 고민을 해결하기 위해 만든 프로젝트에 대한 의견을 구함
- 커뮤니티 반응 — 도구의 유용성에 대한 긍정적 평가와 AI 생성 UI에 대한 비판이 공존함
맥 미니 사려고 고민하면서 어떤 사양을 골라야 내가 돌리고 싶은 모델들이 잘 돌아갈지 계속 왔다 갔다 했거든.
그래서 로컬 LLM 돌리려고 맥 사는 사람들을 위해 컨피규레이터 하나 만들었어:
이거 쓰면 어떤 LLM이 잘 돌아가는지, 효율은 어떤지 네가 고른 사양에 맞춰서 실시간으로 싹 다 보여줘.
맥 모델이랑 사양을 고르면 메모리에 모델이 들어가는지, 예상 속도는 어느 정도인지 바로 나오거든. 속도 예측치는 실제 llama-bench 데이터를 기반으로 모델링한 거고, 각 수치마다 오차 범위도 표시해 놔서 얼마나 믿을 만한지 바로 알 수 있어. 애플 공식 가격도 매일 업데이트됨.
나처럼 로컬 AI 돌리려고 맥 사는 사람들을 위해 직접 만든 거니까 한번 써봐.
개인 프로젝트로 만든 거라 피드백 좀 주면 고맙겠어. 특히 본인이 직접 돌려본 수치랑 내 예상치 비교해 줄 수 있는 사람 있으면 더 좋고.
아, 그리고 나 지금 M4 32GB랑 M4 Pro 48GB 사이에서 고민 중인데, M4 Pro로 가려고 하거든. 이 선택 어때?
