Xolotl (Strata 기반) - 단일 4090에서 약 27 tok/s로 구동되는 DeepSeek-V4.1-Flash (552B), 며칠 내로 Uncensored 1017 양자화 버전 공개 예정
Xolotl (Strata based) - DeepSeek-V4.1-Flash (552B) on a single 4090 at ~27 tok/s, Uncensored 1017 quant coming in a couple of days
핵심 요약
단일 RTX 4090에서 552B 규모의 DeepSeek 모델을 구동하는 추론 엔진 Xolotl이 공개되어 큰 관심을 받고 있습니다.
- 성능 지표 — 단일 4090에서 27 tok/s 디코딩 및 512K 컨텍스트 지원
- 기술적 구현 — VRAM, RAM, NVMe를 활용한 계층적 가중치 로딩 방식
- 모델 호환성 — DeepSeek 외에도 GLM, Qwen 등 다양한 모델 구동 가능
- 향후 계획 — 1017 버전의 검열 해제 및 양자화 작업 진행 중
다들 안녕, 이거 진작 올리려고 했는데 이제야 올리네.
내가 Strata 기반으로 Xolotl이라는 추론 엔진을 만들고 있는데, 이걸로 DeepSeek-V4.1-Flash(무려 552B짜리)를 게이밍 PC 한 대에서 돌리고 있어. 내 사양은 RTX 4090(24GB) 한 장에 Ryzen 7 5700X, DDR4 90GB, NVMe SSD 하나가 전부야. 별거 없지? 가중치를 VRAM, 고정 RAM, NVMe에 분산해서 올리고, 엔진이 토큰마다 필요한 전문가(expert)만 딱딱 불러오는 방식이야.
내 컴퓨터에서 나오는 성능은 이 정도야:
-
27 tok/s 디코드, 180-320 tok/s 프리필
-
512K 컨텍스트
-
HumanEval 21/21, 툴 콜 10/10, 에이전트 버그 수정 루프 3/3, 전부 'thinking' 켜놓고 실제 서버 거쳐서 돌린 결과임.
이 엔진으로 GLM-5.3-Flash, Qwen3.8-Flash-Next, Qwen3.8-27B도 다 돌아가.
GitHub: https://github.com/Indras-Mirror/Xolotl
지금 내가 쓰는 퀀트 모델(검열 없는 V4.1, 152 GiB)은 여기 있어:
https://huggingface.co/IndrasMirror/DeepSeek-V4.1-Flash-GSQ-Uncensored
1017 업데이트: 지금 새로운 DeepSeek-V4.1-Flash-1017 다운로드 중이야. 우리 집 인터넷이 워낙 쓰레기라 속도가 안 나오는데, 용량이 510GB나 돼서 좀 걸릴 듯.
다 받으면 바로 abliterate 돌리고 Xolotl용으로 퀀타이즈 할 거야. V4.1이랑 아키텍처랑 설정이 똑같아서(확인해 봤는데 설정이랑 토크나이저가 완전히 똑같음) 지금 쓰는 거랑 처리량은 비슷하게 나올 거야. 근데 가중치가 다 바뀌어서 그냥 패치 수준이 아니라 캘리브레이션이랑 퀀트 작업을 처음부터 다시 해야 해.
며칠 내로 다 끝내려고 하는데, 물어보는 사람들이 좀 있어서 미리 글 남겨. 궁금한 거 있으면 댓글 달아줘.
