DeepSeek V4 Flash 0731을 포함한 로컬 벤치마크 업데이트함

GLM이 hallucination 훨씬 적음. 그거 빼면 둘이 거의 비슷해 보이던데 https://artificialanalysis.ai/?models=deepseek-v4-flash%2Cglm-5-2#intelligence-breakdown

전반적으로 GLM이랑 Kimi K3 다음으로 세 번째나 네 번째로 좋은 오픈 모델이라는 점엔 동의함. 대형 모델 같은 느낌은 좀 덜해도 에이전트 작업 쪽은 Kimi K2.6보다 나을 듯. 근데 GLM이랑 ds4 flash 0731 사이엔 격차가 좀 있음. Opus랑 Sonnet 차이 같달까. Opus 4.6이랑 Sonnet 4.6 정도의 수준 차이임.

사용 사례에 따라서는 충분히 그럴 수 있다고 봐. 특히 코딩보다는 텍스트 기반이나 텍스트 분석 작업에서 말이야. Flash는 컨텍스트 메모리가 너무 적고 부분적으로는 자체 리마인더에 의존하니까. Qwen이 여전히 RP(롤플레잉) 분야에서 선두권이고 올해 초 몇 달 동안 그 좁은 영역에서 프론티어급으로 간주됐던 이유가 바로 그거지.

Qwen이 RP 분야에서 선두권이라고? 걔네 모델들 두고 그런 소리 하는 건 한 번도 못 들어봤는데.

진짜 미친 모델임. '별로다'라고 하는 애들은 다 처음 해보는 '바이브 코더'들이거나, 이렇게 강력한 에이전트 모델로 거대한 에이전트 작업이나 코딩 업무를 처리하는 법을 모르는 애들 같음. 이 모델은 네 친구나 대화 상대, 혹은 지식 인덱스가 아님. 아주 작은 패키지에 담긴 진짜 대형 화기임. 그냥 조준하고 쏘면 됨.

좋네! 나중에 확인해 봐야지. 2비트나 3비트 양자화 버전도 테스트해 볼 생각 있어?

최선을 다해볼게

DeepSeek V4 Flash 0731 돌릴 때 어떤 추론 엔진이랑 설정 썼는지 공유해 줄 수 있어?

DeepSeek용 llama.cpp 썼고, 별거 없음. 그냥 마스터 브랜치에서 최신 llama.cpp 가져온 거임 (이틀 전에 나온 수정 사항 덕분에 3 GPU 구성에서 Dspark 돌릴 수 있게 됨). -ts 값은 VRAM 부하 분산하려고 수동으로 설정한 거임. 공통 파라미터는 안 올리고, 이 모델 전용 파라미터만 적어줌.

-ctk f16 -ctv f16 -ts 28,28,70 --temp 1.0 --top-p 0.95 --min-p 0.0 --top-k 0 -c 524288 -md dspark-DeepSeek-V4-Flash-0731-BF16.gguf --spec-type draft-dspark --spec-draft-n-max 3

지금 당장은 m... 할 수 없음