남는 2070 Super를 본체에 꽂았더니 돌아갈 수가 없게 됐다... 더 큰 문제는 이제 더 필요하다는 거임
Added an old 2070 Super to my rig and I can't go back...worse, now I need more
핵심 요약
남는 GPU를 추가해 VRAM을 늘리니 로컬 LLM 성능이 비약적으로 상승해, 더 고사양 GPU를 갈망하게 된 경험담입니다.
- VRAM의 중요성 — 로컬 LLM 구동 시 연산 속도보다 VRAM 용량이 체감 성능에 훨씬 큰 영향을 미침
- GPU 추가 효과 — 기존 시스템에 남는 GPU를 추가하는 것만으로도 대형 모델의 컨텍스트 처리 능력이 대폭 향상됨
- 최적화의 묘미 — llama.cpp 등을 활용해 모델 양자화와 컨텍스트 설정을 조정하며 최적의 성능을 찾아가는 과정
- 하드웨어 갈망 — 한 번 VRAM의 맛을 보면 더 높은 사양의 GPU(3090 등)를 추가하고 싶어지는 중독성
상황: 작년 11월, 모든 게 엉망이 되기 전에 새 시스템을 맞췄어. 5090, 9800X3D, 96GB 램에 5천 달러 정도 썼지. 최근(지난 2~3개월)에는 로컬 환경 구축에 엄청나게 매달리고 있어. 윈도우는 버리고 우분투 > 만자로 > CachyOS(현재)로 넘어왔고, 매일 llama.cpp를 빌드하면서 최적의 모델 양자화, 컨텍스트 크기, 최고의 에이전트 CLI + 하네스 등을 찾기 위해 테스트를 돌리고 있지... 다들 어떤 느낌인지 알 거야.
현재: 드디어 시간을 내서 옛날 PC를 분해했어. 2070을 발견하고 먼지를 털어낸 뒤, 호기심에 새 PC에 꽂아봤지. 진짜 말해두는데: 8GB의 추가 VRAM이 사람을 어떻게 만드는지 전혀 예상 못 했어. 갑자기 Qwen3.6-27B를 Q8_0으로, 컨텍스트 144k(이것도 q8_0)에 MTP까지 써서 돌리는데도 여전히 40~70tk/s가 나오더라. 중독성 장난 아냐! 지금 온라인에서 5070ti랑 3090 매물을 보고 있어(가격대가 비슷하거든). 결국 3090으로 가게 될 것 같아. 8GB VRAM을 그냥 지나칠 순 없으니까. 하지만 다시 말하지만, 이런 결과는 예상 못 했어. 2070 Super조차도 굴러다니는 게 있다면 엄청난 가치를 가져다줘.
이번 경험을 통해 확실히 깨달은 건 이거야: 적절한 성능 + 더 큰 VRAM > 엄청난 성능 + 더 작은 VRAM
