r/LocalLLaMA•약 6시간 전•77•38
ISTA-DASLab의 DeepSeek-V4.1-Flash-1017-GSQ-RCO 모델 출시
ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO
핵심 요약
ISTA-DASLab에서 GSQ-RCO 양자화 방식을 적용한 DeepSeek-V4.1-Flash 모델을 공개했습니다.
- 모델 출시 — GSQ-RCO 양자화가 적용된 DeepSeek-V4.1-Flash-1017 모델이 공개됨
- 양자화 성능 — 기존 4비트 방식보다 토큰 손실이 적고 깔끔한 성능을 보여줌
- llama.cpp 지원 — 현재 공식 아키텍처 지원이 병합되지 않아 사용이 제한적임
- 하드웨어 요구사항 — Strata 기반 포크를 통해 VRAM과 RAM을 활용한 구동이 가능함
ISTA-DASLab에서 GSQ-RCO 스마트 양자화 방식을 적용한 따끈따끈한 새 모델을 내놨다.
이제 DeepSeek-V4.1-Flash-1017이다.
양자화 모델은 허깅페이스에서 받을 수 있다: https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
아직 원본 아키텍처 지원이 머지되지 않아서 Llama.cpp는 지원 안 한다:
https://github.com/ggml-org/llama.cpp/pull/28696
https://github.com/ggml-org/llama.cpp/pull/30817
모델 카드에 Strata 지원이라고 적혀 있긴 한데, 원래 Strata는 Qwen3.8-Flash-Next만 지원하는 걸로 알고 있거든. 그러니까 아마 Strata 기반 포크 중 하나를 말하는 거겠지. 아마 Xolotl 아니면 Maya일 거다.
