r/LocalLLaMA•약 5시간 전•62•46
200만 원짜리 PC에서 748B DeepSeek-V4.1-Flash 돌려본 후기
Tried running 748B DeepSeek-V4.1-Flash on a €2k PC
핵심 요약
200만 원대 PC 환경에서 1비트 양자화된 748B 모델을 구동한 기술적 시도와 그 성능에 대한 공유.
- 하드웨어 사양 — RTX 3090 24GB와 128GB RAM을 활용함
- 모델 구동 — 1비트 양자화된 748B 모델을 초당 7.2 토큰으로 실행함
- 기술적 구현 — llama.cpp와 NVMe를 활용한 온디맨드 로딩 방식 적용
- 실용성 논란 — 모델 규모는 인상적이나 실사용에는 한계가 있음
작년에 RTX 3090 24GB, 128GB DDR4, Intel i9-9900X 박힌 중고 PC를 2,000유로도 안 되는 가격에 업어왔음.
DeepSeek-V4.1-Flash-1017 나온 김에 내 컴에서 돌려보기로 했다. 당연히 제일 작은 양자화 버전(1-bit)이긴 한데, 그래도 7.2 tok/s로 돌아가는 거 보니까 기분은 좋더라.
답변에 물리 법칙 오류가 하나 섞여 있는데(누가 찾을 수 있을지 궁금함), 솔직히 실용성은 별로 없는 듯. Qwen 모델들은 내 환경에서도 꽤 잘 돌아가거든. 그래도 748B 파라미터짜리 모델을 이런 사양에서 돌려봤다는 거 자체가 뽕 차더라.
기술적인 세부 사항은 대충 이럼:
-
Unsloth
UD-IQ1_SGGUF, 디스크 용량 233 GB -
open PR #30817에서 빌드한 llama.cpp, CUDA 12.8
-
110 GB짜리 Engram 테이블은 미리 로드 안 함. NVMe에 놔두고 모델이 필요한 행만 그때그때 읽어오는 방식으로 메모리에 맞춘 거임.
llama-server -m DeepSeek-V4.1-Flash-1017-UD-IQ1\_S-00001-of-00005.gguf \\
-ngl 99 --n-cpu-moe 36 -ot "per\_layer\_token\_embd.weight=CPU" \\
-lm mmap -lzm on -t 10 -c 16384 --jinja \\
--temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 \\
--chat-template-kwargs '{"enable\_thinking":false}'
이제 이 모델을 계속 놔둘지, 아니면 지워서 디스크 공간 확보할지 고민 좀 해봐야겠음 :)
