r/LocalLLaMA•약 2개월 전•156•206논쟁
Deepseek v4 flash 0731 버전, 여전히 기대 이하임
Deepseek v4 flash 0731 still not holding up.
핵심 요약
Deepseek v4 flash 모델이 로컬 환경에서 프롬프트와 규칙을 제대로 따르지 못한다는 사용자의 불만 제기.
- 규칙 준수 실패 — 프롬프트나 스킬을 설정해도 모델이 이를 무시함
- 로컬 환경 문제 — 벤치마크 점수와 실제 코딩 성능 사이의 괴리가 큼
- 템플릿 혼선 — Jinja 템플릿의 파편화로 인해 모델 성능이 일관되지 않음
- 도구 활용 중요성 — 모델 성능을 제대로 끌어내려면 적절한 하네스(harness) 구성이 필수적임
프리뷰 버전의 가장 큰 문제는 규칙 프롬프트와 스킬을 따르지 못한다는 점이었음. 뭘 어떻게 해도 무시하는 것 같음. 1인칭, 2인칭 다 써봤고 중국어, 영어로도 해봤음. 그래도 안 따름. 이게 이 모델들의 유일한 문제이자, 벤치마크 점수만 높을 뿐 실제 프론티어급이 아닌 이유임. 사용자마다 환경이 다르고, 각자 필요한 작업에 맞춰 규칙이나 프롬프트, 스킬로 모델의 행동을 튜닝해야 하는데, 모델이 이걸 무시하면 성능이 떨어질 수밖에 없음. 최신 Flash 버전도 프리뷰 버전과 같은 문제가 있어서 안타까움.
난 로컬에서 네이티브로, 풀 정밀도로 돌리고 있음. 욕먹을 거 뻔히 알아서 이 글 쓰는 걸 계속 미뤘는데, 실제로 로컬에서 모델을 돌려보고 벤치마크에 세뇌당하지 않은 상태에서 직접 코딩해보면 구멍이 다 보임. 난 다시 Qwen 27b로 돌아감, 아 진짜.
