r/LocalLLaMA•약 4시간 전•23•5
DGX Spark에 추가 메모리가 필요하신가요?
Do you need some extra memory on your DGX Spark?
핵심 요약
DGX Spark 사용자가 남는 GPU를 활용해 메모리를 확장할 수 있게 해주는 vLLM 호환 모드 저장소가 공개되었습니다.
- 메모리 확장 — 남는 GPU를 활용해 DGX Spark의 메모리 부족 문제를 해결함
- 기능 지원 — spec-decode draft 모델을 외부 GPU로 분리하여 컨텍스트 용량 확보
- 연결 방식 — TCP 및 RDMA를 모두 지원하며 vLLM과 호환됨
집에 남는 10-24 GB GPU 굴리고 있는 DGX Spark 사용자들, Spark 하나나 클러스터에서 메모리 쥐어짜 내라고 이 저장소 만들었다.
이거 쓰면 spec-decode draft 모델을 Spark에서 빼서 그 GPU로 옮겨버림. 덕분에 확보된 메모리만큼 컨텍스트 더 늘리거나 퀀트 품질 높일 수 있다. TCP랑 RDMA 둘 다 지원하고, eugr-vllm 호환 모드로 제공함:
https://github.com/ciprianveg/gb10-vllm/tree/main/remote-dspark
