64GB 시스템 RAM의 저주
The curse of 64GB system RAM
핵심 요약
고성능 모델을 돌리기엔 64GB RAM이 부족해 작업 선택을 강요받는 상황에 대한 하소연입니다.
- RAM 부족 — 64GB 환경에서 고성능 모델과 이미지 생성 작업을 동시에 돌리기 어려움
- Strata 성능 — 기존 대비 월등한 추론 속도를 보여주지만 시스템 자원 점유율이 매우 높음
- 업그레이드 고민 — 예산 문제로 128GB 증설이 어려워 현재 사양에서 타협 중
- 커뮤니티 반응 — RAM 용량 부족을 공유하며 서로의 고충을 위로하거나 하드웨어 구성을 논의함
봇 아님. Strata 홍보 알바도 아님. 그냥 내 경험 공유하는 거임.
내 컴퓨터에 R9700이랑 RTX 5060 Ti 박혀 있고, 시스템 램은 64GB DDR5임. 뭐, 나쁘지 않은 사양이지. 아무튼 난 주로 R9700으로 로컬 LLM 돌리면서 5060 Ti로는 ComfyUI에서 이미지/비디오 추론 돌림. 주로 Minimax H3 같은 거 돌리는데 이게 시스템 램을 존나게 처먹거든. 평소엔 R9700으로 Qwen3.8-27B Q6 모델을 데일리로 쓰는데 35 t/s 정도 나옴. 이 정도면 실사용하기엔 충분함. Strata 나오기 전에는 Qwen3.8-Flash-Next를 두 그래픽카드에 걸쳐서 vulkan으로 IQ4_XS(그 93GB짜리 양자화 모델 말하는 거임) 돌려봤는데, 15 t/s밖에 안 나와서 도저히 못 쓰겠더라. 그래서 그냥 때려치웠지. 그러다 Strata가 나오고 사람들이 QFN이 훨씬 낮은 사양에서도 쓸만하다고 난리 치길래 한번 확인해 봤음. 보니까 다들 IQ3_XXS 양자화 모델(대충 70GB 좀 넘는 거)을 쓰더라고. 당연히 빠르겠지. 아무튼 llama.cpp로 시스템 램 + R9700 조합해서 벤치마크 돌려보니까 21 t/s 나오더라... 실사용 마지노선이긴 한데 솔직히 별로 감흥은 없었음. 근데 똑같은 양자화 모델을 Strata에서 돌리니까 60 t/s가 찍힘. 존나 개쩌는 거임. 이제 무조건 이걸로 데일리 돌려야겠다 싶었지. 근데 문제는 Strata에 QFN 올리니까 시스템 램 점유율이 96%를 찍는다는 거임. 5060 Ti에서 ComfyUI로 Minimax H3 돌리려고 해도 램을 너무 처먹어서 도저히 못 돌리겠음.
이 개쩌는 모델을 드디어 돌릴 수 있게 돼서 축복받은 기분인데, 동시에 뭘 돌릴지 선택해야 하는 상황이라 존나 저주받은 기분임!
그리고 '그냥 램 128GB로 업글해라'라고 할 놈들 있을까 봐 미리 말하는데... 나도 알아, 알아. 업글하고 싶지. 근데 올해 내가 산 장난감들 때문에 와이프가 공평하게 보석 사달라, 해외여행 보내달라 요구해서 돈이 없음.
64GB 램으로 울고 있다.
