Claude Max 20x에서 5x로 다운그레이드: 로컬 27B 모델(RTX 5060 Ti 2개)로 에이전트 작업의 절반을 이전한 후기. 라우팅 매트릭스, 손익분기점 계산 및 조언 구함

로컬 티어를 안전하게 쓰기 위해 피눈물 흘리며 배운 5가지 규칙:

1. 로컬 패치는 무조건 테스트를 통과해야만 반영함. 그냥 읽어보고 넘기는 건 절대 없음.

2. 수락 기준(Acceptance criteria)을 프롬프트에 박아넣음 (정확한 함수 형태, 정확한 에러 문자열 등). 이것만 해도 오타 섞인 패치가 9/9로 통과함.

3. 로컬 모델이 내뱉는 숫자는 문서나 계획에 넣기 전에 무조건 다시 계산함. 문장은 믿을만해도 산수는 못함.

4. 부모 모델은 명령어 출력 결과에서 pass/fail을 직접 읽음. 자식 모델이 요약해 주는 건 절대 안 믿음.

5. 2번 실패하면 바로 에스컬레이션. 낮은 티어에서 고집부리지 마라.

에이전트는 프론트매터(model, thinking, tools)가 포함된 일반 마크다운 파일이라 에이전트별로 티어가 고정되어 있고, 그래프를 통해 단계별로 오버라이드할 수 있음. 로컬 자식 모델은 작업에 명시된 화이트리스트 가드 명령어만 bash로 실행 가능함.

2. 비용은 어떻게 변했나

가장 놀라웠던 건 위임 비용이 아니었음. 부모 세션 비용이었음. 압축 없이 매 턴마다 300~420k 토큰을 다시 보내고, 세션 중간에 모델을 바꾸느라 캐시 미스가 33%나 발생했거든. 이게 20x 플랜을 2~3번의 프롬프트 만에 다 갉아먹던 주범이었음. 해결책: 컨텍스트 윈도우를 200k로 제한하고 160k쯤에서 자동 압축, 세션 중간에 /model 명령어 금지(새 세션 생성), 자식 모델이 읽을 수 있는 건 부모가 절대 안 읽게 하기, 라우팅 시 노력(effort)은 low로, 결정 내리는 턴에만 high로 설정.

이렇게 하고 로컬 티어가 R2~R5를 다 흡수하니까 5x 플랜으로도 충분함. 월 비용(구독료 + 전기세):

3. GPU 본전 뽑기

RTX 5060 Ti 16GB 두 장에 1,300유로 썼다. 구독료 차액은 리스트 가격 기준 월 100달러, 부가세 포함하면 122달러다. 어차피 본체는 항상 켜두니까 전기세가 유일한 운영 비용이지.

GPU를 하루에 몇 시간이나 굴리느냐에 따라 다르겠지만 12~15개월 정도 걸린다. 내 실사용 패턴(하루에 작업 몇 개, GPU 시간 3~4시간)으로 따지면 13개월쯤 된다. 엄청난 건 아니지만, 로컬 모델이 하는 다른 모든 작업까지 처리하는 하드웨어 치고는 나쁘지 않다.

4. 다들 태클 걸 부분: "그냥 API 쓰면 되는 거 아님?"

맞는 말이다. 그래서 로컬에서 돌리는 작업을 API로 샀을 때 얼마 나오는지 계산해 봤다. 실제 레포지토리에서 작업 하나 돌리면 보통 입력 토큰 15만 개(콜드 상태라 실제 파일 여러 개 읽음), 출력 1만 2천 개 정도 나오는데, 캐시 히트는 없다고 가정했다. 취향껏 조정해서 봐라.

작업당 비용은 Haiku 약 0.24유로, Sonnet 약 0.47유로, Opus 약 1.18유로(부가세 포함)다. 가로선은 구독료 차액이다. 만약 로컬 모델이 Sonnet으로 할 작업을 대신한다면 하루 11개 정도 작업할 때 20x -> 5x 차액을 메꿀 수 있고, Opus급 작업(조사나 분류 작업할 때 씀)을 대신한다면 하루 4~5개만 해도 본전이다. 평소에 5~10개 정도 돌리니까 딱 맞다.

솔직히 말하자면, 로컬은 유로화 비용은 안 들지만 시간은 꽤 잡아먹는다. 클라우드에서 1~4분 걸릴 작업이 여기선 17~28분 걸린다. 그래서 파이프라인을 그에 맞춰서 짰다(작업은 백그라운드에서 돌리고, 메인 프로세스는 요약본만 확인하는 식).

5. 조언 구하는 부분

사실 이거 물어보려고 글 쓴 거다. 본체 맞춘 뒤로 상황이 두 가지 바뀌었는데, 서로 정반대 방향으로 압박을 주고 있다.

하드웨어 가격 폭등. 2026년에 DRAM/GDDR7 공급 부족 때문에 소비자용 GPU 가격이 두 배가 됐다. 이번 주에 확인한 시세(별도 언급 없으면 EU 실거래가):

• RTX 5060 Ti 16 GB: 지금 640~735유로, 예전엔 400~480유로였음. 내가 가진 건 1,300유로에 샀는데 지금 새로 사려면 1,400유로 줘야 함.

• RTX 5070 Ti 16 GB: 840~1,150유로. VRAM은 똑같은데 속도만 빠름. LLM 작업엔 의미 없음.

• RTX 3090 24 GB 중고: 이베이에서 1,000~1,400달러, 예전엔 600달러였음. "가성비 24GB 카드"는 이제 옛말이다.

• RTX 5090 32 GB: 4,000~6,000유로, 권장가는 2,389유로였는데. 내 카드 두 장 합친 거랑 VRAM 용량이 같음.

• RTX PRO 6000 Blackwell 96 GB: 리스트 가격 16,000달러, 출시가는 8,565달러였음. 이건 뭐 논외고.

그러니까 본전 차트의 점선은 내가 산 가격보다 살짝 위에 있다. 최소한 카드 값이 떨어지지는 않았다는 게 위안이다. 5060 Ti 두 장 더 사서 64GB 맞추려면 지금 1,400유로가 든다. 이 시장 상황에서 48~64GB로 가는 합리적인 방법이 있긴 하냐? 아니면 그냥 "2027~28년까지 존버해라"가 답이냐?

오픈 웨이트 최신 모델들 덩치가 너무 커짐. 다들 떠드는 2026년 출시 모델들은 소비자용 VRAM으로는 감당이 안 된다.

32GB, 64GB 둘 다 안 되는 것들:

• DeepSeek V4.1 Flash (9월 10일): 552B MoE, 디스크 용량 510GB, 아직 llama.cpp 지원 안 함.

• GLM-5.3 (8월 28일): 744B MoE, 활성 40B, 2비트로 돌려도 239GB. "작은" 버전인 GLM-5.3-Flash도 320B-A18B라 Q4 기준으로 180~195GB 먹고, llama.cpp 포크 버전이 필요함.

• Kimi K3 (7월 26일): 2.8T MoE.

• Qwen3.8 Flash-Next (8월 14일): 180B MoE에 활성 6B, Q4 기준 110~120GB. 이것도 64GB VRAM에 안 들어감. 근데 이 리스트 중에서 유일하게 이걸 고려해서 만든 모델이긴 함. Qwen이 대형 n-gram 테이블을 호스트 RAM에 올리도록 설계해서, 32~64GB GPU에 128GB 시스템 RAM 조합이면 돌아가긴 한다. 속도는 뭐... 알아서 나오겠지.

이번 여름에 나온 것들 중 실제로 돌아가는 건:

• Qwen3.8-27B dense (8월 13일): Q6 기준 약 22GB, Apache 2.0 라이선스. 32GB에 들어가고, 내가 지금 돌리는 모델이다.

• NVIDIA Nemotron 3.5 Lightning 30B-A3B (8월): 하이브리드 MoE, 활성 파라미터 약 3B, Q4 기준 20GB 미만. 32GB VRAM에 컨텍스트 여유까지 두고 올릴 수 있음.

• Meta Muse Glimmer 30B (8월 10일, Apache 2.0): 덴스 모델, 텍스트+이미지, Q4 기준 24-32GB. 32GB에 딱 맞게 들어가는데 컨텍스트는 좀 빡빡함.

• Cohere의 신형 30B (Command A+ 기반, 에이전트 코딩용 튜닝): Q4 기준 약 18-20GB. 32GB에 충분히 들어감.

결국 핵심은 "집에서 어떤 프론티어 모델을 돌릴까"가 아니라, "올여름 나온 30B급 모델 중에 Qwen3.8-27B가 실패했던 유일한 작업(파일 77개에 걸친 정밀한 계획 수립)을 더 잘 해내는 놈이 있느냐", 그리고 "Flash-Next를 시스템 RAM으로 오프로딩해서 얻는 이득이 실제 작업 시간(wall-clock) 대비 가치가 있느냐"는 거임. 구체적으로 따져보자면:

• Qwen3.8 Flash-Next를 전문가 모델만 시스템 RAM으로 오프로딩한 경우: 에이전트 하네스에 올려서 실제 레포지토리 돌려본 사람 있음? 27B 덴스 모델보다 카운트나 좌표 정밀도가 더 잘 나오는지, 아니면 그건 모델 크기랑 상관없이 프론티어급 모델만의 특성인지 궁금함. 32GB GPU + 128GB RAM 환경에서 Q4로 돌리면 초당 토큰(tok/s) 얼마나 나옴? 한 번 돌리는 데 여전히 1시간 넘게 걸림?

• 내 32GB 환경에서 Nemotron 3.5 Lightning이나 Cohere 30B 돌리기: 활성 파라미터 3B면 속도는 훨씬 빠를 텐데. R2/R4 클래스(정찰, 단순 반복 수정) 작업용으로 쓸만함? 그럼 Qwen3.8-27B는 R3/R5 전용으로만 남겨두게. 카드 두 장에 모델 두 개 올려서 클래스별로 나누는 거 꽤 끌리는데. Muse Glimmer 30B는 비전 말고 코딩용으로 써본 사람 있음?

• 런타임: 윈도우에서 소비자용 카드 두 장 쓰고 인터랙티브하게 돌리려면 llama.cpp가 국룰이지. vLLM/NVFP4나 exllama 써서 5060 Ti급 카드로 챗봇 말고 긴 컨텍스트 에이전트 작업 돌릴 때 실제 시간 단축 효과 본 사람 있음?

• 자체 검증 가능한 로컬 티어: 지금 로컬 모델들은 화이트리스트에 등록된 가드 없이는 bash 명령어를 못 쓰게 막아놨고, 테스트는 별도의 클라우드 자식 프로세스가 돌리는 중임. '재현-수정-재실행' 루프를 돌리려면 쉘이 필요한데, 27B 모델한테 실제 체크아웃 폴더를 다 맡기지 않고 안전하게 샌드박싱하는 방법 뭐 없음?

• llama-server의 프롬프트 캐시: 같은 파일들로 반복 작업할 때 캐시 쓰면 콜드 스타트보다 몇 배는 빠름. 레포지토리 요약 프리픽스를 여러 작업에 걸쳐서 고정해두고 쓰는 사람 있음? --parallel 1 옵션 쓰고 자식 프로세스 그래프 띄워도 캐시 잘 유지됨?

세 줄 요약

라우팅 매트릭스(R1-R9 -> 티어) 짜고, 유추 가능한 건 로컬 27B, 판단이 필요한 건 프론티어 모델, 부모 세션 컨텍스트는 빡세게 관리함. 결과: Claude Max 비용 20배에서 5배로 줄었고, 구독료 차액만 따져도 GPU 값은 13개월이면 뽑음. 하루에 로컬 작업 5-10번씩 돌리는 API 비용까지 치면 몇 주 만에 본전 뽑음. 이제 병목은 성능이 아니라 작업 시간(wall-clock)임. 2026년 오픈 웨이트 프론티어(DeepSeek V4.1, GLM-5.3, Kimi K3, Qwen3.8 Flash-Next)는 180B-3T급이라 소비자용 VRAM으론 어림도 없고 GPU 가격도 두 배 뛰었음. 결국 1,400유로 더 들여서 30-120B급이나 RAM 오프로딩 Flash-Next로 갈아탈 가치가 있느냐가 관건임.

Fable이랑 Opus는 네 코드를 아예 안 읽는 거야? 어떻게 개인정보 보호를 달성하는 건데?