r/LocalLLaMA•약 3시간 전•53•28
너무 좋아서 믿기 힘들 정도? ISTA의 GSQ-RCO 2비트 DeepSeek-V4.1-Flash가 베이스 모델과 동일한 성능을 낸다고?
Too good to be true? ISTA's GSQ-RCO 2-bit DeepSeek-V4.1-Flash scoring the same as the base model
핵심 요약
ISTA의 2비트 양자화 모델 성능이 베이스 모델과 동일하다는 벤치마크 결과에 대한 의구심과 검증 요청.
- 벤치마크 신뢰도 — 벤치마크 점수가 포화 상태라 성능 저하를 제대로 보여주지 못할 가능성 제기함
- 양자화 검증 — KLD나 PPL 측정값 등 구체적인 성능 지표 확인을 요청함
- 파일 구조 혼란 — GGUF 파일 구성 방식에 대한 사용자들의 질문과 답변이 이어짐
- 양자화 회의론 — 벤치마크 수치가 양자화 모델의 실제 성능을 대변하지 못한다는 의견이 나옴
혹시 ISTA에서 나온 DeepSeek-V4.1-Flash용 GSQ-RCO GGUF 써본 사람 있냐? 벤치마크 결과만큼 퀄리티 잘 나오는지 궁금함(IQ2_XXS가 베이스 모델이랑 비비는 수준이라던데).
벤치마크 점수가 죄다 포화 상태라(90% 넘고 AIME25는 버전마다 100점 찍음) 성능 저하가 어느 정도인지 가늠이 안 됨. GSQ-RCO 모델 관련해서 KLD 자료도 못 찾겠고.
혹시 KLD나 PPL 측정해본 사람 있음? 2 bpw 정도에서 어느 정도 KLD가 나올 거라 예상함?
https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
(영어가 모국어가 아니라 LLM 도움받아서 쓴 글임.)
