r/LocalLLaMA•26일 전•28•37

2x DGX Spark 환경에서의 DeepSeek-V4-Flash vs. GLM-5.3-Flash 비교

DeepSeek-V4-Flash vs. GLM-5.3-Flash on 2× DGX Spark

핵심 요약

사용자가 2x DGX Spark 환경에서 DeepSeek-V4-Flash와 GLM-5.3-Flash의 성능과 활용성을 비교하며 최적의 설정을 고민하고 있습니다.

모델 비교 — DeepSeek는 속도와 범용성, GLM은 정확도와 비전 성능에서 강점을 보임
하드웨어 설정 — 2x DGX Spark 환경에서 GLM의 최적화와 메모리 구성이 주요 쟁점임
비전 성능 — DeepSeek의 비전 모델은 텍스트 추출 시 토큰 제한으로 인한 가독성 문제가 발생함
대안 모델 — Qwen3.8-Flash-Next가 속도와 비전 성능 면에서 유력한 대안으로 언급됨

둘 다 써보고 며칠 동안 혼자 고민 좀 해봤는데, Asus Ascent GX10 두 대(사실상 DGX Spark 2대랑 똑같음)에서 돌려본 결과는 이래:

DeepSeek-V4-Flash-0731 (공식 가중치)
GLM-5.3-Flash (RedHatAI/GLM-5.3-Flash-NVFP4)

혹시 이 하드웨어(2x DGX Spark / Asus Ascent GX10)에서 둘 다 돌려본 사람 있어? 다들 어떤 용도로 쓰고 있고 결과는 어땠는지 궁금하네.

DeepSeek가 토큰/초 속도는 더 잘 나오는데, 내가 실제로 작업하는 방식에는 GLM이 훨씬 더 맞는 도구 같거든.

내 경험을 좀 공유해볼게.

DeepSeek가 나은 점:

공식 가중치를 그대로 써서 그런지 기분 탓인지 더 낫게 느껴짐.
토큰 생성 속도가 훨씬 빠름. 근데 최종 결과물 나오는 시간은 딱히 더 빠른 건 아님.
자유로운 주제로 리서치할 때 개쩜. 알아서 소스 찾아서 연결하는 능력이 탁월함.
컨텍스트 윈도우가 엄청 큼 (~1M 토큰).

GLM이 나은 점:

결론을 훨씬 빨리 내리고, 정답률도 더 높음.
글쓰기 능력이 압도적임. 특히 영어랑 중국어 말고 다른 언어 쓸 때 차이가 큼. 편지 같은 거 쓸 때 이게 진짜 중요하거든.
"텍스트 핵심 요약" 능력이 훨씬 좋음.
비전 성능이 개쩜. DeepSeek의 Vision-Exp 모델은 벤치마크 점수나 따려고 이미지 읽는 수준이지, 실제 OCR이나 텍스트 추출용으로는 거의 못 써먹음(비전 입력이 384 토큰으로 제한돼 있어서 이미지가 뭉개지고 글자가 안 읽힘).
벤치마크 결과도 훨씬 좋음. 물론 난 양자화된 빌드를 돌리고 있어서 수치가 그대로 적용되진 않겠지만, 경험상 적은 지시사항으로도 더 나은 결과물을 뽑아냄.
환각 현상이 훨씬 적음. 이게 나한테는 결정적임. 코딩처럼 텍스트를 "테스트하고 수정하는" 루프를 돌릴 수가 없으니까, 사무 업무나 편지 쓸 때는 한 번에 정확하게 뽑아주는 거랑 환각 적은 게 제일 중요하거든.

근데 핵심 문제가 있음. 2x DGX Spark에서 공식 가중치로 돌아가는 GLM 빌드가 없음. 진짜 있었으면 좋겠는데 말이야.

그래서 지금 GLM 설정 계속 건드리면서 아티팩트 없애려고 테스트 중임(여러 소스 보니까 가능할 것 같긴 함). DeepSeek 설정보다 좀 더 지저분한 느낌은 있는데, 제대로만 세팅하면 훨씬 신뢰도 높은 결과물을 얻을 수 있을 거고 비전 성능까지 챙길 수 있으니까.

원문

커뮤니티 목록

r/LocalLLaMA•26일 전•28•37

2x DGX Spark 환경에서의 DeepSeek-V4-Flash vs. GLM-5.3-Flash 비교

DeepSeek-V4-Flash vs. GLM-5.3-Flash on 2× DGX Spark

핵심 요약

사용자가 2x DGX Spark 환경에서 DeepSeek-V4-Flash와 GLM-5.3-Flash의 성능과 활용성을 비교하며 최적의 설정을 고민하고 있습니다.

모델 비교 — DeepSeek는 속도와 범용성, GLM은 정확도와 비전 성능에서 강점을 보임
하드웨어 설정 — 2x DGX Spark 환경에서 GLM의 최적화와 메모리 구성이 주요 쟁점임
비전 성능 — DeepSeek의 비전 모델은 텍스트 추출 시 토큰 제한으로 인한 가독성 문제가 발생함
대안 모델 — Qwen3.8-Flash-Next가 속도와 비전 성능 면에서 유력한 대안으로 언급됨

둘 다 써보고 며칠 동안 혼자 고민 좀 해봤는데, Asus Ascent GX10 두 대(사실상 DGX Spark 2대랑 똑같음)에서 돌려본 결과는 이래:

DeepSeek-V4-Flash-0731 (공식 가중치)
GLM-5.3-Flash (RedHatAI/GLM-5.3-Flash-NVFP4)

혹시 이 하드웨어(2x DGX Spark / Asus Ascent GX10)에서 둘 다 돌려본 사람 있어? 다들 어떤 용도로 쓰고 있고 결과는 어땠는지 궁금하네.

DeepSeek가 토큰/초 속도는 더 잘 나오는데, 내가 실제로 작업하는 방식에는 GLM이 훨씬 더 맞는 도구 같거든.

내 경험을 좀 공유해볼게.

DeepSeek가 나은 점:

공식 가중치를 그대로 써서 그런지 기분 탓인지 더 낫게 느껴짐.
토큰 생성 속도가 훨씬 빠름. 근데 최종 결과물 나오는 시간은 딱히 더 빠른 건 아님.
자유로운 주제로 리서치할 때 개쩜. 알아서 소스 찾아서 연결하는 능력이 탁월함.
컨텍스트 윈도우가 엄청 큼 (~1M 토큰).

GLM이 나은 점:

결론을 훨씬 빨리 내리고, 정답률도 더 높음.
글쓰기 능력이 압도적임. 특히 영어랑 중국어 말고 다른 언어 쓸 때 차이가 큼. 편지 같은 거 쓸 때 이게 진짜 중요하거든.
"텍스트 핵심 요약" 능력이 훨씬 좋음.
비전 성능이 개쩜. DeepSeek의 Vision-Exp 모델은 벤치마크 점수나 따려고 이미지 읽는 수준이지, 실제 OCR이나 텍스트 추출용으로는 거의 못 써먹음(비전 입력이 384 토큰으로 제한돼 있어서 이미지가 뭉개지고 글자가 안 읽힘).
벤치마크 결과도 훨씬 좋음. 물론 난 양자화된 빌드를 돌리고 있어서 수치가 그대로 적용되진 않겠지만, 경험상 적은 지시사항으로도 더 나은 결과물을 뽑아냄.
환각 현상이 훨씬 적음. 이게 나한테는 결정적임. 코딩처럼 텍스트를 "테스트하고 수정하는" 루프를 돌릴 수가 없으니까, 사무 업무나 편지 쓸 때는 한 번에 정확하게 뽑아주는 거랑 환각 적은 게 제일 중요하거든.

근데 핵심 문제가 있음. 2x DGX Spark에서 공식 가중치로 돌아가는 GLM 빌드가 없음. 진짜 있었으면 좋겠는데 말이야.

주요 댓글

r/localllama

사용자들은 전반적으로 GLM 모델이 속도는 느려도 정확도와 분석 능력 면에서 더 우수하다고 평가하며, 하드웨어 설정 최적화에 대한 기술적 조언을 나누고 있습니다.

나도 같은 고민 중임. Deepseek는 좋지만 GLM으로 넘어가고 싶은데, vLLM이 제대로 작동하려면 업데이트가 좀 필요할 것 같음. 개인적으로 공식 가중치는 별로 신경 안 씀. 요즘은 커뮤니티 양자화 버전이 공식만큼 혹은 그 이상으로 잘 작동하니까. 그래도 이해함, AI는 개인적인 경험이니까. 행운을 빌어!

듀얼 Spark에서 GLM 5.3 Flash를 사용 중임. DSV4F-0731보다는 GPT-5.6 Sol 같은 느낌임. DeepSeek보다 느리긴 하지만 그냥 참고 쓰는 중.

GLM 5.3은 최첨단 모델 같은 느낌이 들지만, GLM 5.3 Flash는 전혀 그렇지 않음. 내가 줬던 어려운 작업들(역순 처리 같은 거)을 계속 실패했는데, GLM 5.3은 거의 문제없이 다 해냈음. Flash 모델로 바꿀 때마다 제대로 된 진전이 없어서 다시 돌아와야 했음. 그러니까 Flash 모델을 Sol이랑 비교하는 건 말이 안 됨.

나도 그쪽으로 가고 있는 것 같아. 정확한 셋업, 런타임, 퀀타이제이션, 샘플링 설정이 뭐야? 그리고 문제 좀 겪었어, 아니면 그냥 잘 돌아갔어?

왜 더 느린지에 대한 세부 정보 있음? Mtp랑 dspark 차이인가? 아니면 이상한 moe 커널 문제인가? Redhatai에 glm 5.3용 공식 vllm0.29 빌드도 있음. 그거 가져와서 instanttensor 추가했는데 전체 b12x 경로가 이미 안에 있어서 패치할 게 확 줄었음. B12x랑 nvfp4는 궁합이 잘 맞는데 왜 속도 저하가 있는지 궁금하네.

싱글 Spark 데이터 포인트: Qwen3.8-Flash-Next nvfp4 쓸 때 겪었던 '이상한 동작'은 양자화 문제가 아니었음. GPU 메모리를 0.85 예약하니까 페이지 캐시가 부족해져서 처리량이 급락하고 earlyoom이 뜨기 시작하더라. 0.72~0.75로 설정하니까 해결됨. GLM 빌드 탓하기 전에 이거부터 확인해보는 게 좋을 듯.

고마워, 그렇게 해볼게. GLM 빌드를 탓하려는 게 아니라, 어떻게 올바르게 설정하는지 방법을 찾는 중이야. 게시글에서 그게 명확하게 전달되지 않았다면 미안해.

내 2개 Spark 시스템에서 glm5.3을 한동안 써봤음. 내 멀티 에이전트 작업용으로는 너무 느리더라. 결국 데일리 드라이버로 dsv4 vision으로 돌아갔음. 속도도 더 빠르고 동시성도 좋음. glm5.3이 좀 더 개선되면 다시 한번 살펴볼 생각임. 클러스터 전환이 어렵지 않아서 유연하게 대응 중이지만, 지금은 dsv4가 내 주력임.

질문에 직접적인 도움은 못 주지만 나도 이 부분에 대해 엄청 궁금했음. 난 DSV4를 데일리로 쓰고 있는데 GLM으로 업그레이드(?)하려고 VRAM을 더 추가할지 고민 중임.

GLM 5.3 Flash는 커뮤니티 가중치로 256GB에서 돌아가. 공식 가중치를 쓰려면 Spark를 2개에서 4개로 늘려야 하는데, 지금 가격대에서는 받아들이기 힘든 조건이지.

GLM은 안 돌려봤는데, DSv4F랑 Qwen 3.8 Flash Next는 돌려봤음. 후자가 진짜 마음에 드네. Qwen은 고려 안 하는 이유라도 있음?

고려해 봤지. Qwen은 코딩이나 에이전트 작업에는 훌륭한데, 자연어 글쓰기에는 너무 기계적인 느낌이더라고. 특히 영어랑 중국어 외의 언어로 간결하고 수준 높으면서도 쉬운 표현을 쓸 때는 내 경험상 DeepSeek가 확실히 더 낫고, GLM은 그보다 더 좋음. 어차피 지금은 이 장비들로 주로 편지 쓰기나 텍스트 추출 작업을 하니까 그걸로 결정한 거지.

며칠 동안 두 모델(그리고 Qwen 3.8 Next까지) 사이를 왔다 갔다 했는데, 결국 GLM 쪽으로 확실히 마음을 굳혔어.

생성 속도나 프리필(prefill) 속도 면에서는 DS4나 Qwen한테 밀리지만, 불필요하게 고민하는 경향이 훨씬 덜하고 데이터 분석 작업에서 훨씬 더 정확하고 똑똑해. 진행 상황이나 문맥을 추적하는 방식도 훨씬 직관적이고 깔끔하고.

동시성 처리를 다룰 때 특히 속도 면에서 크게 밀리긴 하는데, 그건 아키텍처 차이 때문인 것 같아(아마 vllm 튜닝 문제일 수도...)

비전 입력 384 토큰 제한이라니. 그 제한 때문에 벤치마크 점수는 좋은데 실제 출력물은 읽기 힘든 현상이 발생하는 거임. 모델이 이미지 테스트는 잘 통과해도 사진 찍은 페이지는 뭉개버릴 수 있거든. 실제 문서를 다루는 사람한테는 벤치마크보다 그 숫자가 훨씬 중요함.

원문r/LocalLLaMA