ISTA-DASLab의 DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF 2.25bpw 양자화 모델과 공식 API 성능 비교

ISTA-DASLab에서 내놓은 DSv4.1-1017 2.25bpw 양자화 모델을 며칠째 돌려보고 있는데, 생각보다 꽤 잘 버티네. 근데 평균 2.25bpw밖에 안 되는 양자화 모델이 풀 모델이랑 비교해서 얼마나 성능이 나올지 궁금해지더라고.

로컬 환경: Project-maya v1.1.27. ISTA-DASLab 2.25bpw 양자화 모델. 품질 관련 설정: "DS4_INDEX_TC": "1". "MAYA_DS4_PROMPT_SKIP": "2".

테스트: Humanities Last Exam에서 텍스트 전용 문제 100개 추출.

모델 벤치마크라는 게 원래 쉽지 않기도 하고, 이번 결과는 그냥 대충 훑어보는 수준(smoke test)이라고 보면 돼. 결과에 문제가 좀 많거든:

1. 문제당 토큰 제한을 32768로 잡았어. 더 크게 잡으면 시간이 너무 오래 걸려서 감당이 안 되거든. 로컬 인스턴스에서 평균 40.4 toks/s 속도로 돌렸는데도 테스트 끝내는 데만 12시간 걸렸어.

2. 토큰 제한에 도달했을 때 Deepseek API랑 project-maya가 동작하는 방식이 달라. Project-maya는 thinking_budget을 토큰 제한의 3/4 정도로 줄여서 어떻게든 답을 내뱉게 만드는데, 그러다 보니 한 문제당 24768 토큰 이상을 절대 안 쓰더라고. 반면에 Deepseek API는 그냥 32768 토큰을 다 써버리고 답을 안 내놓는 경우가 생겨.

이게 결과에 진짜 치명적이야. 로컬 모델은 강제로 답을 내뱉게 설정돼 있어서 맞힌 문제도 있고, 반대로 API는 24k~32k 토큰을 써서 맞혔는데 로컬은 24k 제한 때문에 틀린 문제도 있었거든.

3. 둘 다 thinking 설정을 "max"가 아니라 "high"로 돌렸어. Deepseek API가 "max"로 하면 생각을 너무 많이 하다가 답을 아예 안 내뱉는 경우가 태반이라서 그래. "high"로 해도 API가 26문제는 답을 못 했고, 로컬 모델도 비슷한 수의 문제에서 thinking이 24k에서 잘렸어.

4. 100문제짜리 샘플일 뿐이고, 공식 API랑 로컬 모델 둘 다 돌릴 때마다 결과값이 꽤 들쭉날쭉해. 설정 그대로 돌려도 양쪽 다 맞혔다 틀렸다 하는 문제들이 있거든. 통계적으로 유의미한 비교를 하려면 이 테스트를 최소 10번은 돌려봐야 할 거야.

결과는 대충 이래:

로컬 모델: "엄격한" 정답 13개, 의미상 정답 20개. API: "엄격한" 정답 13개, 의미상 정답 21개.

공식 API가 답을 내놓은 74문제에 대해서는:

• 로컬 의미상 정답: 19/74

• 공식 의미상 정답: 21/74

• 둘 다 맞힘: 17

• 로컬만 맞힘: 2

• 공식만 맞힘: 4

• 둘 다 틀림: 51

둘 다 틀린 경우를 보면 23번은 아예 똑같은 오답을 냈고, 11번은 의미상 같은 오답이었어. 7번은 "비슷하게" 틀렸는데, 예를 들면 둘 다 균류(fungi)를 골랐는데 종만 다르게 고른 식이지.

결론:

내 테스트 방식에 결함이 좀 있어서 양자화 모델이 풀 모델이랑 얼마나 차이 나는지 딱 잘라 말하긴 어려워. 확실하게 알려면 토큰을 수억 개는 태워야 할 텐데, Humanities Last Exam만 가지고는 무리지. 그래도 확실하게 말할 수 있는 건 2.25bpw 양자화 모델이 완전히 맛이 간 건 아니라는 거야. API가 답할 수 있는 문제라면 로컬 모델도 얼추 비슷하게 따라가. 예를 들어, API가 맞힌 문제를 로컬 모델에 256k 토큰 제한 주고 다시 물어보면 똑같이 답할 것 같거든. 토큰 제한 없이 max reasoning으로 돌리면 양쪽 다 훨씬 더 높은 점수를 받을 수 있을 거야.