r/LocalLLaMA•3개월 전•90•69

DeepSeek v4 (Flash)는 정말 운영 비용이 엄청나게 저렴한가요? 그렇다면 어떻게 가능한 거죠?

Is DeepSeek v4 (Flash) really extremely cheap to run? If yes, how?

핵심 요약

DeepSeek v4의 압도적인 가성비 비결은 효율적인 MoE 구조와 혁신적인 어텐션 메커니즘 덕분입니다.

MoE 아키텍처 — 전체 파라미터는 크지만 추론 시 활성화되는 파라미터는 적어 연산 효율이 높음
어텐션 최적화 — CSA, HCA, DSA 기술을 통해 KV 캐시와 연산 요구량을 획기적으로 절감함
비용 효율성 — 고도의 압축 기술과 효율적인 추론 방식으로 인해 타 모델 대비 압도적으로 저렴함
데이터 학습 — 긴 문맥 처리를 위해 과거 토큰의 유용성을 학습시키는 고난도 훈련 과정을 거침

Hi. 나는 GPU가 없어. 그래서 내 가장 큰 "로컬 LLM" 경험이라고 해봐야 26B 정도 되는 모델을 한 자릿수 tps(초당 토큰 수)로 돌리는 게 전부였어.

하지만 DSv4 모델들의 "서빙 경제"는 나에게 수수께끼처럼 보여. Flash 모델은 284B 파라미터를 가지고 있는데, 제공업체들(예: OpenRouter)은 터무니없을 정도로 적은 비용을 청구해. 예를 들어, 전체 크기가 10분의 1인 27B Qwen보다도 저렴해! 이게 어떻게 가능한 거지?

제공업체들이 그냥 덤핑을 치는 걸까? 아니면 DSv4 아키텍처가 서빙 비용을 극단적으로 낮추는 특별한 무언가가 있는 걸까? DSv4를 호스팅할 장비를 갖춘 사람들은, 이게 다른 모델들과 무엇이 다른지 알고 있어?

고마워.

원문

커뮤니티 목록

r/LocalLLaMA•3개월 전•90•69

DeepSeek v4 (Flash)는 정말 운영 비용이 엄청나게 저렴한가요? 그렇다면 어떻게 가능한 거죠?

Is DeepSeek v4 (Flash) really extremely cheap to run? If yes, how?

핵심 요약

DeepSeek v4의 압도적인 가성비 비결은 효율적인 MoE 구조와 혁신적인 어텐션 메커니즘 덕분입니다.

MoE 아키텍처 — 전체 파라미터는 크지만 추론 시 활성화되는 파라미터는 적어 연산 효율이 높음
어텐션 최적화 — CSA, HCA, DSA 기술을 통해 KV 캐시와 연산 요구량을 획기적으로 절감함
비용 효율성 — 고도의 압축 기술과 효율적인 추론 방식으로 인해 타 모델 대비 압도적으로 저렴함
데이터 학습 — 긴 문맥 처리를 위해 과거 토큰의 유용성을 학습시키는 고난도 훈련 과정을 거침

Hi. 나는 GPU가 없어. 그래서 내 가장 큰 "로컬 LLM" 경험이라고 해봐야 26B 정도 되는 모델을 한 자릿수 tps(초당 토큰 수)로 돌리는 게 전부였어.

고마워.

주요 댓글

r/localllama

사용자들은 DeepSeek의 저렴한 운영 비용이 단순한 압축 기술이 아닌, 고도화된 어텐션 메커니즘과 아키텍처 설계 덕분이라는 점에 주목하며 기술적 원리를 토론하고 있습니다.

DeepSeek V4에는 Compressed Sparse Attention(CSA)과 Heavily Compressed Attention(HCA)이라는 두 가지 새로운 어텐션 메커니즘이 들어갔어.

이 기술들은 KV 캐시를 압축한 뒤, DeepSeek Sparse Attention(DSA)을 적용해서 가장 중요하고 필요한 토큰만 선택적으로 골라내.

이 과정이 메모리와 연산 요구량을 획기적으로 줄여주지. Qwen 27B와 비교하면, 걔네는 이런 메커니즘이 없어서 전체 밀집 어텐션과 선형 어텐션을 사용하는데, 내가 알기로는 DeepSeek가 구현한 것만큼 메모리나 연산 효율이 좋지 않아.

새로운 어텐션 메커니즘들은 정말 연구의 경이로움 그 자체야. CSA/HCA/DSA는 정말 저평가됐다고 봐. 게다가 공개된 가중치들은 fp4/fp8 혼합 정밀도를 직접 타겟팅해서, PTQ(사후 학습 양자화)를 따로 할 필요 없이 모델 크기를 더 줄여버리지.

스파스 어텐션이 성배인 건 맞지만, CSA/HCA/DSA/MSA에 단점이 없는 건 절대 아니야.

사용자들은 '프롬프트를 잘못 쓴 거다™️'라고 생각하는 것 같지만, 사실 이건 손실 압축이야. 우리는 더 나은 스파스 어텐션 메커니즘이 절실히 필요해.

사용자들은 '프롬프트를 잘못 쓴 거다™️'라고 생각하는 것 같지만, 사실 이건 손실 압축이야. 우리는 더 나은 스파스 어텐션 메커니즘이 절실히 필요해.

이런 어텐션 메커니즘을 훈련할 때 가장 힘든 건 수학이 아니라 훈련 데이터야.

모델에게 50만 개의 토큰을 거슬러 올라가서 어텐션할 수 있다는 걸 가르치는 건 정말 어려워.

훈련 과정에서 50만 개 이전의 토큰이 실제로 유용했다는 걸 정기적으로 보여줄 수 있어야 하거든. 그게 훨씬 어려운 작업이 되지.

엄격하게 데이터를 생성하는 환경을 구축해야...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

내 생각엔 JEPA 스타일이나 비슷한 접근 방식이 이 문제를 해결할 수 있을 것 같아. 기본적으로 CSA와 HCA 이후의 히든 스테이트는 DSA나 MLA만 사용하는 모델과 같은 형태거든. 아마 사전 학습 후에 추가 데이터를 가져와서 두 모델(MLA 버전과 CSA-HCA 버전)에 모두 통과시킨 다음, 히든 스테이트를 비교해서 CSA-HCA 모델의 어텐션 레이어가 DSA나 MLA 버전과 비슷한 히든 스테이트를 갖도록 학습시킬 수 있을 거야.

CSA/HCA는 프롬프트 캐싱과 KV 캐시 저장 문제를 직접적으로 겨냥하고 있어. 어텐션이 더 희소해진다고 해서 KV 캐시의 전체 크기가 줄어드는 건 아니야. 최근 dspark 릴리즈를 보면 알겠지만, dspark 없이도 그들은 업계에서 (내가 아는 한) 가장 높은 동시성을 보여주고 있어.

맞아, 구글의 Gemma 모델조차 이런 생각을 못 했다는 게 놀라울 따름이야. 이게 오직 DeepSeek만 떠올린 아이디어인지, 아니면 OpenAI나 Anthropic도 내부적으로 비슷한 메커니즘을 써서 아키텍처를 공개하지 않는 건지 항상 궁금해.

DeepSeek V5가 정말 기대돼. 내년이면 DeepSeek V5가 클로즈드 소스 SOTA 모델들보다 더 나아질 거라고 확신해.

구글이 1M 컨텍스트 모델을 처음으로 출시했지. 아마 당시에도 그런 최적화 기술을 이미 가지고 있었기 때문에 가능했을 거야. 하지만 그들은 Gemma 팀이 그 '비법 소스'를 사용하게 두지는 않겠지.

구글도 인프라는 갖추고 있었겠지만, 설령 그랬다 하더라도 DeepSeek은 아키텍처를 대의를 위해 공개적으로 발표함으로써 모든 공을 가져갔지.

그럼 만약 Qwen 27b가 다음 버전에서 같은 메커니즘을 적용하면, 더 효율적으로 계산될까? 만약 그렇다면, 왜 연구자들이 자기 모델에 이런 메커니즘을 사용하지 않는 거지?

만약 27B 모델로 남는다면 당연히 DeepSeek보다 메모리랑 연산 효율이 훨씬 좋겠지.

왜 안 하냐고? 아마 많은 연구자가 각자 자기 연구를 하고 있고, 자기 연구가 어떻게 작동하는지도 확인하고 싶어 해서 그럴 거야. 예를 들어 DeepSeek는 residual connection 대신 mHC를 쓰지만, Kimi는 Attention Residuals를 써. Qwen은 full attention과 linear attention 하이브리드 아키텍처를 쓰지만, NVIDIA는 Nemotron에 full attention과 mamba 하이브리드를 쓰지.

가장 잘 작동하는 아키텍처와 아이디어는 보편적으로...

그러니까 이건 그냥 실시간으로 '채팅을 압축'하는 거네. 관련해서 조금 읽어보긴 했는데, 실제로 정보를 얼마나 잘 유지하는지 테스트한 건 아직 못 봤어.

아니, 전혀 아님. DSA는 전체 KV 캐시를 유지해. 전체 KV 위에서 가벼운 인덱서를 돌려서 어텐션 헤드의 출력에 기여할 가능성이 높은 토큰 후보들을 찾은 다음, 그 토큰들에 대해서만 전체 어텐션 메커니즘을 돌리는 방식임.

이건 이미 사용 중인 어떤 KV 압축 기술 위에 얹는 추가적인 레이어 같은 거야. DSA를 처음 사용한 모델은 DeepSeek V3.2였는데, 기존 DeepSeek V3.1에 새로운 DSA 메커니즘을 덧씌운 거였지. 그래서 V3.1이 그랬던 것처럼 MLA 아래에서 DSA를 돌렸고...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

그럼 어떤 컨텍스트를 유지할지 중요도를 판단하고 압축을 수행하는 방식을 쓴다는 거네? 내가 말한 게 그거야. 그게 무슨 명칭으로 불리는지는 상관없어.

아니, 압축 같은 건 없어. 전체 KV는 유지되고 모든 토큰마다 처리돼. 스파시티(sparsity)는 인덱서를 사용해 전체 KV를 처리함으로써 출력 토큰마다 동적으로 결정되는 거야. 압축은 완전히 다른 개념이지.

이건 matmul + softmax + 가중 합산을 더 저렴한 연산으로 대체하는 거야. 여전히 근본적으로는 전체 누적 KV 텐서를 가져와서 잔차 업데이트를 계산하는 연산이라고.

원문r/LocalLLaMA