r/LocalLLaMA•약 10시간 전•55•56
느린 시스템 메모리와 적당한 GPU를 가지고 있다면.. Strata + Qwen3.8 Next를 써보세요.
Anyone sitting on a lot of slow system memory and a modest GPU.. try Strata + Qwen3.8 Next.
핵심 요약
Strata와 Qwen3.8 Next 조합을 통해 느린 메모리 환경에서도 효율적인 추론 성능을 경험했다는 공유.
- 성능 최적화 — 느린 DDR4 메모리 환경에서도 높은 토큰 처리 속도를 달성함.
- 모델 비교 — Llama CPP 대비 뛰어난 효율성을 보이지만 일부 모델은 환각 현상이 발생함.
- 하드웨어 제약 — GPU VRAM 여유 공간 확보가 성능 유지에 중요한 요소로 작용함.
- 엔진 경쟁 — Llama CPP의 범용성과 특정 모델 최적화 엔진 간의 성능 차이가 논의됨.
IQ3_XXS 웨이트는 80GB가 채 안 되는데, 내 느려 터진 DDR4+7900XTX 조합에서 45-70t/s 정도로 안정화되네(코딩할 땐 mtp에 따라 가끔 더 나오기도 함). 온라인 찾아보니까 12GB나 16GB 카드 쓰는 애들도 비슷한 결과 나오고, DDR5 쓰는 놈들은 훨씬 더 잘 뽑아내더라.
(참고로 같은 환경에서 튜닝한 Llama CPP는 22.5t/s 정도가 한계였음. 퀄리티는 확실히 더 나은 듯(근데 Q2 웨이트는 비추임))
진짜로, *<LLM of your choosing>*한테 네 사양에 맞춰서 세팅해달라고 물어봐. 만약 27B가 좀 버겁다 싶으면, 이걸로 한번 시도해 봐.
