Deepseek v4 flash - prefill/pp 속도 100-150 t/s 향상

CUDA 13.2에서 이 패치 써봤는데, PP는 10% 올랐지만 TG는 10% 떨어졌음. 그냥 기본값 쓰는 게 나을 듯, PP는 충분히 빠르고 CUDA 다운그레이드하는 건 귀찮으니까...

훌륭함, 그렇게 하겠음. 메인라인에서 MTP 지원도 병합했음?

아니 안 했음. 솔직히 메인라인 MTP는 PP에 악영향을 줄 것 같아서 시도도 안 했음. 나중에 병합할 생각임. 지금 PP를 더 높여주는 CUDA 그래프 수정 사항을 테스트 중임.

MTP 한번 시도해 보는 거 추천함. MTP 켰을 때 PP 변화는 딱히 없었는데 생성 속도는 50% 가까이 빨라졌음.

어쨌든 새 버전 받았는데 잘 작동함. 빈 컨텍스트에서 prefill 706 찍고, 4만 토큰 컨텍스트에서 575까지 떨어짐 - 2.48.885.492 I slot print_timing: id 0 | task 852 | prompt processing, n_tokens = 4096, progress = 0.13, t = 5.80 s / 706.59 tokens per second 2.48.885.495 I slot operator(): id 0 | task 852 | cache …

흥미롭네, PP 저하가 없었다면 확실히 확인해 봐야겠음. 그리고 내 포크 브랜치에서 PP 1k 찍었음. 5-10분 내로 깃에 커밋/푸시할 예정임!!!

IQ3_XXS로 이제 1k PP 나오고 있는데, KV 캐시 퀀타이제이션(quant)은 쓰면 안 되고 --fit 옵션도 사용하면 안 됨.

수정: -ub 공간을 좀 더 확보해서 이제 1.3k PP 나옴. 특정 복사본을 위해 공간을 예약해야 하니까 -ub 값을 좀 낮춰야 할 거임. 절반 정도로 시도해 봐.

그리고 당연히 이 포크를 사용해야 함.

/home/user/ds4_llama.cpp/build/bin/llama-server \
 -m /home/user/models/DeepSeek-V4-Flash/DeepSeek-V4-Flash-0731-UD-IQ3_XXS-00001-of-00004.gguf   \
 --no-mmap --threads 10 --jinja  \
 --po …

최신 버전 다운로드했는데 4bit quant에 160k context 사용해서 pp가 750 tps까지 나오네. 개쩐다! llama.cpp 메인라인에도 병합할 수 있다면, 이 속도 향상이랑 내가 DSpark로 얻고 있는 70tps 생성 속도를 합쳐서 로컬에서 DS4 Flash 돌리는 데 아주 훌륭한 올라운드 솔루션이 될 듯.

솔직히 잘 모르겠음. 이건 거의 방향성 없이 LLM이 생성한 코드라 내가 병합하면 오히려 그 사람들한테 방해만 될 것 같음. 그냥 그 사람들이 LLM이 한 걸 보고 마음에 드는 코드 조각만 가져가는 게 더 합리적일 듯.

미안, 반대로 말했네. 그러니까 업스트림에서 MTP / DSpark 커밋을 병합해도 네 변경 사항이 여전히 잘 작동할까?