RTX 3090 한 대로 돌리는 DeepSeek-V4.1-Flash-1017: Delta Inference Engine v0.93 대규모 업데이트

UD-IQ2_XXS는 풀 API와 2점 차이밖에 안 나고, 어떤 세트에서도 ds4 Q2보다 점수가 낮게 나온 적이 없으면서 속도는 똑같다. 심지어 전체 실행 과정에서 토큰도 11% 덜 썼다.

기본 설정 상태에서 DeepSeek API와 다음 토큰 일치율:

참고로 내 테스트에서 풀 모델 호스트 두 개를 비교했을 때 일치율은 98.3%, 98.9%였다. 이 기준으로 보면 Unsloth IQ2는 기존 ds4 Q2보다 풀 모델에 약 20% 더 가깝다.

더 높은 품질을 원한다면: UD-Q2_K_XL (335GB)은 192GB에서 31 tok/s, 128GB에서 26.6 tok/s가 나오고 일치율은 92.5% / 95.3%다. UD-IQ3_XXS (395GB + 기본 모델)는 28 tok/s, 22.8 tok/s에 일치율 92.7% / 95.9%를 찍는다.

지난번 대비 변경 사항:

• 첫 토큰 속도 ~40% 향상: 약 180토큰짜리 프롬프트가 3.8초에서 2.3초로 줄었다.

• 에이전트 턴 읽기 ~12% 빨라짐: 저비트 모델이 가끔 잘못 쓰던 툴 호출도 이제 제대로 읽어낸다.

• Unsloth 양자화 모델 풀 스피드 지원: 엔진이 Engram 테이블을 직접 읽는다.

• 64GB, 96GB도 실사용 가능: SSD 미리 읽기(64GB에서 +22%), 더 커진 전문가 메모리, 파일 순서대로 프롬프트 읽기(낮은 RAM에서 18-20% 빠름) 적용.

• 128GB: ds4 Q2 속도가 33에서 36 tok/s로 상승.

• 기본 샘플링: 이제 드래프터도 자기 초안을 샘플링한다. 기본 설정에서 약 +3.5% 성능 향상.

• 첫 실행 시: RAM에 맞는 모델을 추천해주며, 다른 모델을 고르거나 직접 가져와서 쓸 수도 있다.

• 설정 탭 추가: 채팅 페이지에서 모델, 속도 vs 품질, 보조 GPU를 바로 바꿀 수 있다.

• 공개 CI: 릴리스 zip 파일은 이제 GitHub Actions로 빌드되니까 어떻게 만들어졌는지 다 볼 수 있다.

• EXL3: 2.5 bpw 지원하고 GPU 커널 속도가 2배 정도 빨라졌다. 내 테스트에선 UD-Q2_K_XL이 더 빠르고 API랑도 가까워서 이걸 추천한다.

• 기본 멀티 GPU: 3060 + 3090 조합에서 7% 성능 향상. GPU 3~4개 이상으로 넘어가면 효율이 안 좋으니 그럴 땐 Project Maya를 써라.

• 버그 수정: 65,535 토큰 넘는 컨텍스트 문제 해결, 본문에 </think>가 들어가도 추론이 안 끊김, 대용량 파일에서 메모리 부족 현상 해결, 이미지 인코더 실패해도 모델 안 멈춤, 일시 정지 후 프롬프트 읽기 속도 개선 등 다수.

• 커스텀 모델 선택 지원: 그냥 커스텀 모델 폴더에 넣고 웹 UI에서 고르면 된다.

요구 사양:

• OS: Windows 10 또는 11

• GPU: VRAM 12GB 이상인 NVIDIA RTX, 드라이버 580 이상. 24GB가 가장 빠르고, AMD GPU는 아직 지원 안 함.

• RAM: 64GB 이상, 128GB 이상 권장.

• 디스크: 빠른 NVMe SSD, 모델용으로 233-395GB 필요 (UD-IQ3_XXS는 기본 모델도 필요함).

• CPU: x86-64 CPU 아무거나(Intel/AMD). AVX2 지원하면 더 빠름.

이 모든 게 PC 한 대에서 돌아간다. 다른 하드웨어에서도 테스트가 필요하다.

저장소: https://github.com/musicurgy/delta-inference-engine

MIT 라이선스임. Strata 기반으로 만든 Xolotl의 윈도우 포트 버전이야. 모델 만들어준 DeepSeek, 양자화 도와준 Unsloth, nazeshinjite, ISTA-DASLab한테 고맙고, 작업물과 공개된 수치로 큰 도움 준 Xolotl이랑 Project Maya 커뮤니티에도 감사함. 코드는 대부분 Claude가 짰고 난 프로젝트 총괄만 했음.

써보고 나서 GPU, RAM, 모델, 그리고 tok/s가 얼마나 나오는지 공유 좀 해줘. 잘 나오든 망했든 상관없음.