업데이트된 벤치마크: 로컬 환경에서의 Deepseek V4 Flash SlopCodeBench 결과

나도 pi를 썼을 때 결과가 일관되게 더 잘 나오더라. opencode처럼 세션 캐시가 계속 날아가지도 않고. 유일한 문제는 Qwen 3.6 27B가 파일 편집 툴을 잘 못 써서 자꾸 파일 전체를 다시 쓰려고 한다는 점임.

동감, 그 모델은 hashline을 진짜 싫어하더라.

Pi는 어떤 확장 기능을 사용했나요?

API 실행 시 0731 릴리스 버전을 사용하신 건가요?

제 swe-verified 로컬 벤치마크에서도 비슷한 결과를 본 것 같네요: https://wonderrico.github.io/local_llm_benchmark/benchmark-detail.html?filter=deepseek-v4-flash

DSV4F 0731의 Q2 퀀트가 다른 퀀트들보다 점수가 더 높게 나옵니다.

하지만 동시에 훨씬 '정밀도'가 떨어지기도 하죠. 즉, 다른 퀀트 모델들에 비해 작업을 해결하는 데 훨씬 더 많은 요청이 필요하다는 뜻입니다.

맞음, API는 DeepSeek API에서 직접 가져온 0731 버전이었음.

핵심적인 진실이 드러나고 있음: API는 로컬 실행보다 품질이 낮음. 이건 OpenCode와 PI 둘 다에서 확인한 사실임.

난 두 가지 양자화를 돌리고 있음:

llama-server.exe --model "F:\UD-IQ2_XXS\DeepSeek-V4-Flash-0731-UD-IQ2_XXS-00001-of-00003.gguf" --host 127.0.0.1 --port 8080 -c 384000 --parallel 1 --no-warmup --flash-attn on --no-mmap --fit on -lv 4 --device CUDA0 --threads 16 --no-warmup --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.01

llama-server.exe --m …

뭐가 바뀐 건가요? 양자화가 더 된 건가요?

첫 번째 벤치마크는 Deepseek에서 호스팅하는 API를 사용했고, 두 번째 벤치마크는 제 노트북에서 모델을 직접 돌린 거예요.