r/LocalLLaMA•약 5시간 전•86•48
로컬 LLM 돌리려고 그렇게 비싼 빌드가 필요한 건 아님.
You don’t need that expensive of a build for local llms.
핵심 요약
고가의 장비 없이도 로컬 LLM을 구동할 수 있다는 작성자의 경험 공유와 이에 대한 커뮤니티의 반응.
- 빌드 공유 — 작성자가 9060 XT 16GB와 24GB DDR5로 Qwen 27b 모델을 구동하는 환경을 소개함.
- 커뮤니티 격려 — 고사양 장비가 아니더라도 로컬 LLM을 시도하는 자체를 응원하는 분위기가 형성됨.
- 비용 논쟁 — 작성자의 빌드가 실제로 저렴한지에 대해 사양과 가격을 두고 댓글들 간의 의견이 갈림.
- 성능 평가 — 구동 속도와 효율성에 대해 기술적인 분석과 회의적인 시각이 공존함.
요즘 64GB DDR5에 3090 4장씩 박아놓은 괴물 같은 빌드들 보면서 현타 오지게 왔는데, 드디어 나도 내 셋업 완성해서 올려본다.
Qwen 3.8 27b 모델에 262k 컨텍스트, unsloth iq4XS ascii 압축에 kv 캐시 스트리밍 적용함.
내 유일한 GPU는 9060 xt 16gb고, 홈랩 전체 DDR5가 24gb인데 이 모델 돌리는 데 16gb면 충분하더라.
MTP+ ngram 예측도 썼음.
q4 kv 캐시 값에 q8 키 조합으로 돌리는 중.
20k에서 생성 속도 42.7 tps, 프리필 658 tps 나오고, 200k에서는 35/500 tps 찍힌다.
사용한 포크는 이거임: https://github.com/achyudh/llama.cpp
grok 봇한테 ssh 접속 시켜서 pcie atomics 누락된 버그들 싹 다 고쳤다.
