r/LocalLLaMA•약 6시간 전•36•19
AA 및 Vals 인덱스에서의 DeepSeek-V4.1-Flash-1017 성능
DeepSeek-V4.1-Flash-1017 on AA & Vals index
핵심 요약
DeepSeek-V4.1-Flash-1017의 벤치마크 점수가 모델 카드와 외부 인덱스 간에 차이를 보이는 원인을 분석합니다.
- 벤치마크 점수 차이 — 모델 카드와 AA, Vals 인덱스 간의 수치 불일치 발생함
- 평가 환경 변수 — 에이전트 설정 및 하드웨어 제약이 결과에 영향을 줄 가능성 제기됨
- 성능 비교 — Fable 5와 동등한 수준의 성능을 보여주는 것으로 평가됨
- 평가 도구 이슈 — DeepSeek 전용 하네스 사용 여부가 점수 차이의 핵심 원인으로 지목됨
DeepSeek-V4.1-Flash-1017의 Terminal bench 4.0 점수:
- 모델 카드 발표 기준 42.3%
- AA 리포트 기준 34%
- Vals 인덱스 기준 31.82%
AA
Vals Index
Model card
모델 카드 내용:
We use the Claude Code harness for Terminal-Bench 4.0
내 생각엔 AA랑 Vals 인덱스는 mini-swe-agent를 써서 점수가 낮게 나오는 것 같음. 게다가 Terminal bench 4.0은 작업당 8시간 제한이 있어서, 벤치마크 돌리는 동안 에이전트 구동하는 박스 성능이나 제공업체의 토큰/초(tokens/sec) 속도에 따라 결과가 왜곡될 수 있음.
