r/LocalLLaMA•약 2시간 전•56•23
SSD에서 스트리밍하는 프리필러 모델을 사용하여 Qwen3.8-27b 저양자화 성능 개선하기
Improve Qwen3.8-27b low quants by using a prefiller model that streams from SSD
핵심 요약
ISTA-DASLab이 공개한 SSD 스트리밍 프리필러 모델을 통해 저양자화 모델의 정확도를 높이는 기술에 대한 논의입니다.
- 성능 개선 — 저양자화 모델의 정확도를 높이면서 낮은 VRAM 사용량과 빠른 디코딩 유지함
- 기술적 제약 — 현재 Nvidia Blackwell GPU 환경에서만 구동 가능하여 테스트에 한계가 있음
- 확장성 기대 — 4k 이상의 긴 컨텍스트에서 속도 저하 없이 성능 향상이 가능할 것으로 보임
- 커뮤니티 반응 — 기술적 혁신에 감탄하면서도 하드웨어 요구 사양에 대한 아쉬움을 동시에 표함
ISTA-DASLab에서 만든 이 데모는 낮은 VRAM 사용량과 빠른 디코딩 속도를 유지하면서도, 양자화 정확도 저하 문제를 해결했음.
Nvidia Blackwell GPU가 있어야 돌아가서 난 아직 테스트 못 해봄.
컨텍스트 길이가 4k 정도 넘어가도 prefiller 모델 안 쓸 때랑 비교해서 속도 저하 거의 없을 거임.
그래프는 MMLU-Pro 정확도 보여주는 거임.
Huggingface🤗: https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-NVFP4-prefiller
