[출시] DeepSeek-V4.1-Flash-1017용 ISTA GSQ-RCO GGUF
[Release] ISTA GSQ-RCO GGUFs for DeepSeek-V4.1-Flash-1017
핵심 요약
DeepSeek-V4.1-Flash-1017 모델을 GSQ 및 RCO 기술로 1.75~2.25 bpw까지 양자화한 GGUF 모델이 출시되었습니다.
- 양자화 기술 — GSQ와 RCO를 적용해 낮은 비트에서도 성능 손실을 최소화함
- 모델 구성 — 1.75~2.25 bpw의 GGUF 파일과 110.6GB의 공유 Engram 테이블로 구성됨
- 실행 환경 — llama.cpp 미지원으로 인해 전용 Strata 런타임 사용 필요
- 성능 결과 — 2.00 bpw에서 원본 모델과 동일한 벤치마크 성능 유지
GSQ랑 RCO로 양자화한 DeepSeek-V4.1-Flash-1017을 공개한다. 가중치당 1.75에서 2.25비트 수준이야.
DeepSeek-V4.1-Flash-1017은 희소 전문가 혼합(sparse mixture-of-experts) 모델인데, 레이어당 384개의 라우팅 전문가가 있고 토큰당 6개가 활성화돼. 파라미터는 763.2B, 컨텍스트 윈도우는 1M 토큰이다. FP8 덴스 가중치랑 FP4 라우팅 전문가로 나왔어.
구성 요소
-
양자화된 GGUF 3종: IQ1_M (1.75 bpw), IQ2_XXS (2.00 bpw), IQ2_XS (2.25 bpw). 백본 용량은 120.7GB에서 155.2GB 사이야. 비트 폭은 551.9B 백본 파라미터의 평균값 기준인데, 이게 탐색 과정에서 제어되는 부분이지.
-
공유 Engram 파일 1개 (110.6 GB): 모델의 Engram 룩업 테이블 2개(196.6B 파라미터)를 IQ4_NL로 담았어. 이건 모든 빌드에서 똑같으니까 한 번만 받으면 된다. 테이블은 토큰당 한 줄씩 읽으니까 디스크에 메모리 매핑된 상태로 둬도 돼.
-
모든 빌드는 Strata를 써서 12GB GPU 하나에서 돌아가 (모델 카드 참고, https://github.com/Niko1221/Strata).
-
GSQ (Gumbel-Softmax Quantization): 학습 후 스칼라 양자화 방식인데, 그리드 할당이랑 그룹 스케일을 같이 학습해. 낮은 비트 폭에서 스칼라랑 벡터 양자화 사이의 성능 격차를 거의 다 메우면서도 표준 GGUF 타입으로 배포할 수 있게 해줌.
-
RCO (Riemannian Constrained Optimization): 태스크 손실값에 경사 하강법을 써서 제약 조건별 튜닝 없이 정확한 예산을 강제해. 여기서는 타겟 비트 폭에 맞춰 각 백본 텐서에 양자화 타입을 할당하는데, 덴스 경로(Q5_K ~ Q8_0)랑 라우팅 전문가(IQ1_S ~ IQ3_S)용 사다리가 따로 있어.
-
DeepSeek의 프롬프트 인코더를 그대로 재현한 내장 채팅 템플릿도 들어있어. 추론 노력치(1~100, 또는 low / high / max) 설정도 포함됨.
결과
2.00 bpw에서 이 모델은 평가한 모든 벤치마크에서 베이스 모델이랑 똑같은 성능을 보여줘. 모든 수치는 추론 노력치 50 기준으로 측정함.
