r/ClaudeCode•3개월 전•165•88

M3 Ultra 512GB + GLM 5.2 MXFP4 = Opus 4.8

M3 Ultra 512gb + GLM 5.2 MXFP4 = Opus4.8

핵심 요약

M3 Ultra 환경에서 로컬 모델을 구동해 본 결과, 로컬 컴퓨팅의 미래가 밝다는 확신을 얻었다는 후기입니다.

로컬 컴퓨팅 성능 — M3 Ultra와 GLM 5.2 조합으로 고성능 모델 구동이 가능함
하드웨어 격차 — 모델 성능은 좁혀지고 있으나 여전히 하드웨어 성능이 관건임
오픈소스 모델 — 로컬 구동 효율이 좋아지면서 클라우드 모델과의 격차가 줄어듦

이제 왜 다리오(Dario)가 오픈소스 모델을 두려워하는지 알겠어.

oMLX와 Claude Code로 위 설정을 돌려본 후, 로컬 컴퓨팅이 미래라는 확신이 들었어. GLM 5.2나 Hy3 같은 모델들 덕분에 모델 간의 격차는 좁혀지고 있고, 이제 따라잡아야 할 다음 격차는 하드웨어야.

흥미진진한 시대야!

원문

커뮤니티 목록

r/ClaudeCode•3개월 전•165•88

M3 Ultra 512GB + GLM 5.2 MXFP4 = Opus 4.8

M3 Ultra 512gb + GLM 5.2 MXFP4 = Opus4.8

핵심 요약

M3 Ultra 환경에서 로컬 모델을 구동해 본 결과, 로컬 컴퓨팅의 미래가 밝다는 확신을 얻었다는 후기입니다.

로컬 컴퓨팅 성능 — M3 Ultra와 GLM 5.2 조합으로 고성능 모델 구동이 가능함
하드웨어 격차 — 모델 성능은 좁혀지고 있으나 여전히 하드웨어 성능이 관건임
오픈소스 모델 — 로컬 구동 효율이 좋아지면서 클라우드 모델과의 격차가 줄어듦

이제 왜 다리오(Dario)가 오픈소스 모델을 두려워하는지 알겠어.

흥미진진한 시대야!

주요 댓글

r/claudecode

로컬 모델 구동의 가능성에 대해 긍정적인 반응과 코딩 용도로는 속도가 부족하다는 회의적인 반응이 대립하고 있습니다.

GLM 돌리려고 2만 5천 달러를 쓰고 싶긴 한데, 컴퓨팅 자산은 보통 감가상각이 심해서 말이지.

진짜 대단한 걸 만들어내면 감가상각 같은 건 신경 안 쓰게 됨. 사실 나한테는 오히려 가치가 오르고 있어. 내 M3 기계는 지금 중고로 팔아도 새 제품보다 더 비싸게 팔리거든.

25k 달러면 Anthropic max 플랜 5개씩 몇 년은 돌릴 수 있고 성능도 최고인데 ㅋㅋ GLM 5.2는 4.8 근처도 못 감. 내가 직접 테스트해 봤는데 Sonnet 4.6이랑 Opus 4.8 사이 정도임.

Codex 쓰면 x20 플랜으로 (어느 정도) 무제한 사용도 가능함. 솔직히 말해서 로컬 AI는 기업용이거나 구독 서비스 보조할 정도로 '충분히 괜찮은' 소형 모델에나 의미 있는 거 아님?

이거지 바로 이거야. 스스로 생산성 깎아먹는 짓이지.

-1

못 해, Mythos 접근은 제한되어 있으니까.

얼마나 갈까. 길어야 몇 주, 몇 달?

지금은 자신만만해 보이지만, 차세대 AI를 로컬에서 자유롭게 돌릴 수 있는 수준이 되면 엄청난 법적 규제에 직면하게 될 거야. 이건 해결된 문제 위에 새롭게 얹혀지는 또 다른 차원의 문제라고.

걔들이 RAM 가격을 계속 높게 유지하는 거 안 보여? 게다가 NVIDIA랑 AMD는 GPU VRAM 용량을 늘리는 걸 거의 원치 않아. 벌써 64GB VRAM GPU가 나왔어야 정상인데, AMD의 경쟁력 부족이랑 NVIDIA의 극심한 탐욕 때문에 발목 잡히고 있는 거지.

그리고 M3 Ultra에서 GLM 5.2 속도는 어때? 819GB/s 메모리 대역폭이긴 한데, 그렇게 큰 모델이면 엄청 느릴 것 같은데. 아, 13~25 토큰/초라고 했나? 꽤 느리네. 특히 GLM은 COT(Chain of Thought)를 엄청나게 쓰니까 뭐 하나 끝내려면 30분은 기다려야 할걸.

근데 얼마 주고 샀어?

덴마크 부가세 때문에 2만 달러 정도 줬는데, 지금은 2만 6천~2만 7천 달러에 거래돼.

어떤 양자화(quant) 쓰고 있어?

MXFP4 쓰고 있는데 (미친 수준임) 양자화된 거 치고는 성능이 진짜 놀라워. 하드웨어를 더 사고 싶게 만드네.

내가 예상했던 것보다 낫네. 난 Unsloth의 3.5비트 양자화를 보고 있었거든. 초당 토큰 처리량은 어느 정도야? 특히 긴 문맥 작업할 때.

원문r/ClaudeCode