😯 DeepSeek는 왜 OpenCode에서 '다르게' 작동할까? 혹시 이거 때문인가?

Flash Free 모델에만 적용한 거였으면 좋겠네. 내 조언은 이거야. 사람들은 결국 다 알아챌 거고, 너희가 했던 모든 최적화나 꼼수는 잃어버린 신뢰를 되찾아주지 못할 거야.

대부분의 제공업체가 Deepseek 원본 서버만큼 셋업이나 캐시 스토리지를 최적화하지 않았다는 건 다들 아는 사실임. DS랑 똑같이 맞추려면 걔네 셋업을 그대로 따라 해야 하고, 랙 간에 사용자 캐시를 장기간 저장하는 것도 필수임. 대부분은 그렇게 안 하고 그냥 오픈 노드만 제공하니까, 프롬프트가 랙 캐시에 남아있으면 운 좋은 거고 아니면 몇 시간 지나면 날아가는 거지. DS의 핵심 비결은 kv 캐시인데, 정확히 어떻게 하는지는 아무도 모름. 걔네는 며칠씩 저장하고 거의 모든 노드가 같은 스토리지에 접근할 수 있게 하거든. -> 이 부분은 아직 오픈 소스가 아님.

걔네는 엄청나게 양자화된 모델을 자체 호스팅하고 있는 거야. 새로운 사실도 아님. 80달러어치 사용량을 10달러에 쓸 수 있다고 생각함? 절대 아님. 그냥 마케팅일 뿐임.

어느 한쪽 편을 드는 건 아니지만, V4.1 Flash는 이미 공식적으로 MXFP4/FP8 혼합 방식으로 출시됐음. FP4는 네이티브 텐서 코어 지원을 받는 가장 낮은 정밀도라서, '더 무거운 양자화'로 쥐어짤 수 있는 속도는 별로 없음. 내 생각엔 10달러로 80달러어치 사용량을 뽑아내는 건 속도 때문인 것 같음. 걔네가 100tps로 서비스한다고 보거든. 만약 4x PRO 6000으로 직접 호스팅한다면 200tps 이상은 쉽게 나올 거임(물론 걔네는 b300 같은 걸 써서 여유가 좀 있겠지만). V4.1 flash KV 캐시는 이미 너무 양자화가 많이 돼 있어서 더 건드릴 것도 없음. 나도 개인 하드웨어로 DSv4 직접 호스팅하는데, 개인적으로 걔네가 다른 가중치를 쓴다고는 생각 안 함.

그걸 커널 최적화라고 부르는 거다. 시장 수요가 너무 높아서, 잠재 고객의 저가형 시장을 타겟으로 하지 않는 이상 어떤 벤더도 엔지니어링 시간을 들여서 최적화할 동기가 없거든. 당연한 소릴