r/LocalLLaMA•약 2시간 전•102•72논쟁
네
yes
핵심 요약
CachyOS와 STRATA를 사용하여 로컬 LLM 추론 속도를 획기적으로 높인 경험 공유.
- 추론 성능 향상 — 기존 9t/s에서 최대 48t/s까지 속도 개선됨
- 환경 최적화 — CachyOS와 STRATA 조합으로 NVIDIA 드라이버 문제 해결
- VRAM 한계 — 8GB GPU에서 42k 컨텍스트 사이즈가 한계치임
- STRATA 논란 — 광고 의혹과 성능 향상 원리에 대한 사용자 간 의견 분분
내 컴퓨터에서 Unsloth 3bit Qwen 3.8 Flash Next 돌릴 땐 9t/s 나오더라.
그러다 CachyOS에 STRATA 한번 써봤는데, NVIDIA 드라이버 최신 버전 잡는 게 좀 귀찮아서 그냥 다 깔려 있는 걸로 골랐거든.
Cachy는 그냥 알아서 다 해주니까 편하네. 아무튼 이거 쓰니까 가끔 48t/s까지 찍히는데... 진짜 미친 수준임.
아쉬운 건 컨텍스트 사이즈인데, 8GB GPU로 32k까지는 잘 돌아감.
지금까지 쑤셔 넣은 것 중엔 42k가 한계더라. 64k까지 돌려보고 싶었는데 VRAM이 딸려서 안 됨. 지금 42k 돌리면 VRAM 130MB 남기고 아슬아슬하게 터지기 직전임.
모델 성능은 개지림. 로컬에서 돌리는 클로드 느낌인데, 평균 30t/s면 속도도 빠르고 존나 맘에 든다.
