에이전트를 실행한다면 64GB는 더 이상 '데드존'이 아니다
64GB isn't the dead zone anymore if you run agents
핵심 요약
로컬 LLM 에이전트 구동 시 긴 컨텍스트 활용으로 인해 64GB 메모리가 최적의 선택지가 되고 있다는 분석입니다.
- 메모리 활용 — 에이전트 구동 시 컨텍스트 비용이 모델 무게만큼 커져 64GB가 적절함
- 컨텍스트 관리 — 256k 컨텍스트 활용 시 프롬프트 캐싱이 필수적임
- 하드웨어 구성 — 64GB RAM과 고용량 VRAM 조합이 로컬 LLM 실행에 유리함
- 성능 최적화 — QFN 퀀타이제이션을 통해 실사용 가능한 속도 확보 가능
보통 로컬 LLM 돌릴 때 64GB는 애매한 죽은 구역이라는 소리가 많았음. 70B 모델을 제대로 된 컨텍스트로 돌리기엔 너무 작고, 30B 모델 쓰기엔 너무 과하니까. 근데 지난 열흘 동안 64GB M4 Max에서 27B 모델로 코딩 에이전트 돌려보니까 생각이 싹 바뀌더라. 컨텍스트 쌓이기 시작하면 메모리 점유율이 50GB 언저리까지 올라감.
세팅: LM Studio에서 Qwen3.8 27B (16GB MLX 퀀트), 256k 컨텍스트, 100~200k 토큰 정도 되는 코딩 에이전트 세션.
164k 토큰 기준으로 LM Studio 엔진 프로세스가 48GB를 먹는데, 그중 46GB가 GPU 메모리임. 대충 이럼:
- 16GB 가중치
- ~11GB KV 캐시 (토큰당 ~64KB, 64개 레이어 중 16개만 풀 어텐션)
- 프롬프트 캐시용 컨텍스트 복사본으로 보이는 것 + 선형 어텐션 체크포인트
- 프리필(prefill)에서 긁어온 스크래치 메모리 잡고 있는 MLX
프롬프트 캐시 덕분에 쓸만한 거임. 적중률 93% 찍으니까 턴당 160k 토큰을 다 돌리는 게 아니라 1k 정도만 새로 처리하면 됨. 캐시 미스 나면 풀 프리필 하는 데 20분 걸림.
24GB 카드 쓰는 애들처럼 KV 캐시 퀀타이즈 왜 안 하냐고? LM Studio의 MLX 비전 경로에서는 이 모델에 대해 KV 퀀타이즈를 거부함. 텍스트 전용 경로에선 되긴 하는데, 캐시 퀀타이즈하면 캐시 체크포인트를 건너뛰어 버림. 하이브리드 모델에선 이게 풀 재처리를 훨씬 많이 하게 만든다는 뜻임.
그러니까 48GB에선 컨텍스트를 ~128k로 줄이거나, q8 KV 쓰는 llama.cpp로 넘어가야 함 (256k에서 ~25-30GB 정도 나올 거고, 프리필은 더 느려지겠지). 64GB에선 딱 맞게 들어감. 여유 메모리 지금 150MB 남음.
죽은 구역이라는 말은 가중치 기준이었던 거임. 에이전트 쓰면 컨텍스트가 모델만큼이나 메모리를 처먹는데, 요즘 27B 모델들은 실무용으로 충분히 좋거든. 그래서 64GB가 딱 스윗스팟임. 더 큰 MoE 모델이나 모델 두 개 동시에 띄울 거면 여전히 128GB가 필요하겠지만.
혹시 64GB 쓰는 사람 중에 나랑 비슷한 경험 하는 사람 있음? 그리고 맥에서 llama.cpp로 긴 컨텍스트 돌리면서 프리필 속도 만족하는 사람 있냐?
