[출시] ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder: 파라미터당 1비트의 763B 모델
[Release] ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder: a 763B model at 1 bit per parameter
핵심 요약
ISTA 연구소에서 GSQ 및 RCO 기술을 활용해 파라미터당 1비트로 압축한 DeepSeek-V4.1-Flash-1017 Coder 모델을 공개했습니다.
- 모델 압축 기술 — GSQ와 RCO를 사용하여 파라미터당 1비트 수준으로 모델을 효율적으로 압축함
- 전문가 가지치기 — 384개의 라우팅 전문가 중 절반을 제거하여 메모리 사용량을 대폭 절감함
- 벤치마크 성능 — 원본 모델 대비 LiveCodeBench 98.7%, SWE-bench Verified 94.8%의 성능을 유지함
- 실제 활용 사례 — 벤치마크 외에도 SVG 애니메이션이나 3D 복셀 샌드박스 등 실제 코드 생성 능력을 입증함
DeepSeek-V4.1-Flash-1017의 Coder 빌드를 공개했다. GSQ와 RCO로 압축했고, 모델의 라우팅된 전문가(routed experts) 절반을 날려버린 버전이다.
DeepSeek-V4.1-Flash-1017은 희소 전문가 혼합(sparse mixture-of-experts) 모델이다. 레이어당 384개의 전문가가 있고, 토큰당 6개가 활성화된다. 파라미터는 총 763.2B인데, 그중 551.9B가 트랜스포머에 들어있다.
포함된 내용
-
전문가 가지치기(expert-pruned)된 GGUF 하나: 레이어마다 384개 중 192개 전문가만 남겼다. 트랜스포머 가중치 용량은 72.1GB로, 가지치기 안 한 IQ2_XXS 빌드의 138.2GB와 비교된다.
-
파라미터당 1비트(원본 모델 기준): 72.12GB를 원본 트랜스포머 파라미터 551.9B로 나누면 1.05비트가 나오는데, 이걸 1비트로 반올림했다. 제거된 전문가는 0비트로 계산한다. 1비트 미만으로 저장된 가중치는 없다. Coder가 유지하는 280.1B 파라미터는 평균 2.06비트다.
-
공유 Engram 파일(110.6GB)과 비전 프로젝터는 가지치기 안 된 릴리스와 동일한 파일이라서 한 번만 받으면 된다.
-
GSQ (Gumbel-Softmax Quantization): 학습 후 스칼라 양자화 방식이다. 그리드 할당과 그룹 스케일을 동시에 학습해서, 저비트 환경에서 스칼라 양자화와 벡터 양자화 사이의 성능 격차를 거의 다 메꿨다. 표준 GGUF 타입에서도 그대로 쓸 수 있다.
-
RCO (Riemannian Constrained Optimization): 경사 하강법으로 작업 손실(task loss)을 계산해서 정확한 예산(budget)을 강제한다. 제약 조건마다 일일이 튜닝할 필요가 없다. 여기서는 레이어당 정확히 하나의 예산을 설정해놓고, 가지치기 안 된 모델과의 KL 발산을 최적화하면서 어떤 전문가를 남길지 결정한다.
왜 레이어당 하나의 예산인가
GGUF는 모델 전체에 대해 하나의 전문가 개수만 저장할 수 있다. 그래서 모든 레이어가 똑같은 수의 전문가를 유지해야 한다. 레이어마다 개수가 다르면 패딩이 필요한데, 그러면 가지치기로 아낀 메모리가 도로 다 날아간다. RCO는 각 레이어의 예산을 엄격한 제약 조건으로 보고 최적화 과정 내내 정확히 유지한다. 그러면서도 전체 모델의 손실을 통해 레이어들을 동시에 최적화한다. 페널티 방식은 예산을 대략적으로만 맞추고 레이어마다 튜닝된 계수가 필요해서 별로다.
결과
![[GLB-3D-Coder] A tiny 4B coding model that creates 3D assets for Godot and other game engines](https://external-preview.redd.it/glb-3d-coder-a-tiny-4b-coding-model-that-creates-3d-assets-v0-NjRsN3A4b2d6MnpoMV0qVP_XgqlePklzDMZiKTgJij-ByvoOXjKhkvEECj1E.png?width=640&crop=smart&format=pjpg&auto=webp&s=f8c47fbb10bdebc8e0164a0aa60461d460bea25d)
