Unsloth vs GSQ-RCO - 512K 컨텍스트 DeepSeek-V4.1 GGUF 벤치마크 터미널 테스트
Unsloth vs GSQ-RCO - 512K context DeepSeek-V4.1 GGUF benchmarks Terminal Bench
핵심 요약
Unsloth가 DeepSeek-V4.1 GGUF 모델의 벤치마크 결과를 공개하며 GSQ-RCO 대비 성능 우위를 주장했습니다.
- 벤치마크 성능 — 512K 컨텍스트에서 GSQ-RCO 대비 10~20% 향상된 성능 기록함
- 데이터 신뢰도 — 이전 대비 27배 많은 35.1B 토큰을 사용하여 벤치마크 노이즈를 대폭 감소시킴
- 평가 방식 개선 — Math Verify 및 공식 그레이더를 도입하여 평가 정확도를 높임
- 결과 비교 — GSQ-RCO의 복구율 주장에 의문을 제기하며 상세한 측정 데이터를 제시함
DeepSeek UD 버전 3.1 GGUF 모델로 DeepSWE, Terminal Bench, Automation Bench, HLE, SciCode를 512K 컨텍스트에서 돌려봤는데, 우리가 >10-20% 더 잘 나옴. GSQ-RCO보다 확실히 위임.
나머지 벤치마크 14개는 전부 128K로 돌렸음. AIME2025는 64회, DeepSWE/TB는 3회 반복함. 사람들이 기존 벤치마크에서 지적했던 문제점들은 이렇게 해결했다:
-
32K 컨텍스트는 너무 짧아서 에이전트 작업은 512K, 일반 작업은 128K로 늘림.
-
벤치마크 점수 포화 문제 - Terminal Bench, DeepSWE, Automation Bench 같은 새로운 에이전트 스타일 벤치마크 도입해서 해결함.
-
벤치마크 노이즈 문제 - 기존 1.3B 토큰 대비 35.1B 토큰으로 27배 더 많은 데이터를 굴림. AIME 2025 64회, DeepSWE 3회, TB 3회 등등 자세한 건 이 섹션 참고.
-
채점기 오류 - Math Verify를 썼고, 채점기 성능 개선함. HLE는 gpt-6-luna xhigh를 썼고, Terminal Bench(Harbor), DeepSWE 등 나머지는 전부 공식 채점기 사용함. 채점기랑 인프라 수정 사항 확인해라.
DeepSWE v1.1은 mini-swe-agent를 썼고 최대 500 스텝으로 설정함 (최대 334 스텝까지만 돌아가서 500 넘긴 건 하나도 없음).
Terminal Bench 2.1도 mini-swe-agent를 썼고, 최대 150 스텝으로 제한 없이 돌림. 우리 인프라에서 안 돌아가는 7개 태스크는 제외했음 - https://unsloth.ai/docs/models/deepseek-v4.1-flash#excluded-terminal-bench-tasks-due-to-issues 참고.
데이터를 27배 더 많이 돌려본 김에 ISTA 수치도 다시 검증해봄. GSQ-RCO IQ1_M은 복구율 98.7%라고 주장하는데, 우리가 측정해보니 97.24 [96.23, 98.21] 나왔고 p-value는 0.0013임.
