r/LocalLLaMA•4개월 전•69•11
dvlt.cu: NVIDIA의 DVLT 3D 트랜스포머 모델을 위해 CUDA/C++로 밑바닥부터 작성한 추론 엔진
dvlt.cu: inference engine written from scratch in CUDA/C++ for NVIDIA's DVLT 3D transformer model
핵심 요약
HPC와 3D 재구성에 관심 있는 개발자가 외부 의존성 없이 CUDA/C++로 직접 구현한 경량 3D 추론 엔진을 공개했습니다.
- 의존성 최소화 — Python, Torch, ONNX 등 없이 cuBLASLt와 cuTLASS만 사용함
- 경량 바이너리 — 5MB 크기의 단일 바이너리로 구성되어 설치가 간편함
- 효율적 추론 — mmap 기반 bf16 가중치와 단일 GPU 업로드로 결정론적 결과 제공
- 즉시 사용 가능 — 가중치 다운로드 후 바로 이미지나 영상에 적용 가능함
HPC와 3D 재구성 둘 다 관심이 있어서 사이드 프로젝트로 이걸 만들었습니다.
dvlt.cu는 5MB짜리 단일 바이너리입니다:
-
Python, torch, TF, ONNX, llama.cpp, vLLM, huggingface 런타임 없음
-
거의 없는 의존성: 오직 cuBLASLt(libcuda에 포함) + cuTLASS(헤더 전용 라이브러리)만 사용
-
mmap 방식의 bf16 가중치, 단일 벌크 GPU 업로드, 고정 차원, 원샷 아레나, 결정론적 방식
-
가중치(1억 1700만 파라미터)는 NVIDIA의 것(비상업용)이며 설정 시 별도로 가져옴
-
가중치를 다운로드하고 빌드한 뒤, 지금 바로 이미지 세트나 영상에 시도해보세요
-
결과물을 단일 파일 HTML 뷰어로 드래그하세요; 포인트 클라우드와 카메라 포즈를 볼 수 있으며 설치가 필요 없습니다
원하시면 깃허브도 확인해보세요:
