Qwen3.8-Flash-Next 177B NVFP4(119GiB): RTX 5060 Ti 16GB + 32GB RAM에서 SSD 스트리밍으로 9-10 tok/s 달성

긴 작업에서는 프리필 속도가 49tps 정도 나옵니다. 네, 느린 거 맞아요. 저도 이 부분 고민 중입니다. 저도 이 모델을 일상 업무에 쓰고 싶어서 프리필이 꽤 중요하거든요. 지금은 큰 작업을 모델에 돌려놓고 커피 마시러 갑니다.

llama.cpp에서 mmap+mlock+lazy-mode off를 사용하면 PLE 테이블을 포함한 모델 전체를 같은 VRAM에 올릴 수 있을 겁니다(허용된다면 시스템 메모리로 넘치게 되고요). 제가 알기로는 메모리만 충분하다면 mmap+lazy-mode on보다 프리필이 훨씬 빨라집니다(저는 VRAM 12GB + RAM 128GB인데 확실히 더 빠르더라고요).

물론 초기 로딩은 더 느려집니다.

mmap이랑 mlock 같은 거 더 써서 프리필 속도를 300 tok/s까지 뽑을 순 있는데, 뭐 쓸만하긴 함. 근데 Qwen 3.8 27B에서 1k 나오는 거에 익숙해져서 눈이 높아짐. 디코딩 속도도 간당간당하고.

정보 공유 고마워!

우리는 더 큰 사이즈의 퀀트를 돌리고 있어.
우리 모델 파일은 127GB고 atomic chat은 92GB야. NVFP4와 더 높은 n-gram이 더 나은 품질을 보여줄 거야.

내 12GB 4070 Super에서도 돌아가면 진짜 좋겠다

지금은 Blackwell 전용인 NVIDIA sm120을 쓰고 있는데, v2에서는 더 많은 아키텍처를 지원해 볼 생각이야. 딱히 막히는 건 없는데 아직 그 부분까지 손을 못 댔어.

왜 전문가를 6GB만 RAM에 올리시나요? 쉽게 두 배로 늘려서 다른 앱을 위한 공간도 확보할 수 있을 텐데요. 그러면 성능이 엄청나게 향상될 겁니다.

이건 내 아키텍처와 관련된 건데, SSD 스트리밍을 위해 수정된 버전의 CUDA graphs를 사용할 가능성이 조금이라도 있는지 알아보고 싶었어. 35B 같은 작은 모델에는 CUDA graphs를 사용해 봤는데 꽤 유용했거든. 그래서 이걸 SSD 스트리밍까지 확장할 수 있을지 궁금했지. 물론 간단한 작업은 아니라는 걸 알고 있고, 만약 성공한다 해도 이걸 CUDA graphs라고 부를 수 있을지는 모르겠어.

이 아키텍처 때문에 RAM 계층을 6GiB에서 14GiB로 올렸더니 expert 선택 시 캐시 미스가 24.5%에서 18.9%로 줄었지만, 디코딩 속도는 그대로였어. SSD에서 절약된 시간(토큰당 약 10ms)이 추가적인 PCIe 읽기 시간(토큰당 약 10ms)에 의해 상쇄된 거지. 이건 VRAM의 약 190GB/s에 비해 약 16.7GB/s 수준이야. RAM 계층에 있는 expert는 VRAM으로 복사되지 않아. 그 RAM은 고정(pinned)되어 있고 GPU 주소 공간에 매핑되어 있어서, matmul 커널이 expert가 선택될 때마다 PCIe를 통해 시스템 메모리에서 가중치를 직접 읽어오거든.