ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO 양자화 비교
ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO quants comparison
핵심 요약
ISTA가 Unsloth의 벤치마크 방식에 의문을 제기하며, 추론 토큰 제한 차이가 결과의 불일치를 초래했다고 해명했습니다.
- 벤치마크 불일치 — Unsloth의 32K 토큰 제한이 128K를 지원하는 모델의 성능을 제대로 반영하지 못함
- 투명성 강조 — 모든 코드와 논문을 공개하며 독립적인 검증을 환영함
- 기술적 해명 — 하이퍼파라미터 조작 없이 모델의 규모와 컨텍스트 길이에 맞는 설정을 사용함
- 추가 검증 예정 — 자체 환경에서 비교 테스트를 진행 중이며 곧 결과를 공유할 예정임
최근 Unsloth에서 올린 비교 자료가 DeepSeek-V4.1-Flash-1017에 대한 우리 결과랑 영 안 맞더라고. 혹시나 해서 말하는데, 우리 모델 유리하게 하려고 하이퍼파라미터 건드린 거 절대 아님. 763B 파라미터 규모에 1M 컨텍스트 길이 지원하는 모델에 딱 맞는 표준 설정(128K 컨텍스트 윈도우, 추론 노력치 50)을 썼을 뿐임.
우리가 알기로는 성능 차이가 난 이유가 모델이 구려서가 아니라 벤치마크 제약 조건이 달라서임. Unsloth는 추론 예산을 32K 토큰으로 빡빡하게 잡았는데, 우리는 최대 128K 출력 토큰까지 허용했거든. 이 연산량 차이가 결과값 차이를 만든 거지, 우리가 뭐 뒤에서 몰래 조작한 게 아님. 애초에 1M 컨텍스트 윈도우에 763B 파라미터 박아놓은 모델한테 32K라는 낮은 추론 예산을 강제하는 것 자체가 앞뒤가 안 맞는 거 아니냐?
우리는 오픈 소스 협업이랑 투명성을 제일 중요하게 생각함. 코드 전부 GitHub에 까놨고 논문도 arXiv에 다 올려뒀음. 다른 양자화 모델들이 잘 돌아가는 거 보면 우리도 진심으로 기쁨. 애초에 모델 공개한 이유가 그거니까. 우리 결과 그대로 재현해보고 싶은 사람들은 우리 설정(출력 예산 128K, 추론 노력치 50) 그대로 써서 직접 검증해봐도 됨. 예전 모델들은 커뮤니티를 위해 훌륭한 일을 하는 Benjamin Marie(The Kaitchup) 같은 제3자들이 직접 벤치마크해줬었음. 우리 주장에 대한 빡센 검증은 언제든 환영임. 지금 우리 환경에서 모델들 비교 테스트 돌리고 있으니까 조만간 결과 올리겠음.
다들 고맙고, 계속 지켜봐 주셈!
