r/LocalLLaMA•약 6시간 전•37•11

응답 도중 GPU 간 모델 레이어 이동 (8ms, 재프리필 없음)

Moving a running model's layers between GPUs mid-reply (8 ms, no re-prefill)

핵심 요약

운영체제와 JIT 컴파일러 원리를 활용해 추론 중에도 GPU 간 레이어를 실시간으로 이동시키는 혁신적인 추론 엔진 'jitllm'을 소개합니다.

실시간 레이어 이동 — 추론 중단 없이 GPU 간 모델 레이어를 재배치함
JIT 커널 생성 — 하드웨어에 최적화된 커널을 즉석에서 생성하여 성능 극대화
메모리 효율성 — KV 캐시 페이징을 통해 재프리필 없이 원활한 전환 지원
하드웨어 유연성 — 이기종 하드웨어(CUDA, Vulkan, CPU) 간 모델 분산 및 이동 가능

jitllm이라는 추론 엔진을 만들고 있어. 운영체제랑 JIT 컴파일러 쪽을 파고들었던 경험에서 아이디어를 얻었는데, 어떤 하드웨어든 그에 맞는 커널을 즉석에서 생성하고, 레이어를 마치 엔진이 이리저리 옮길 수 있는 프로세스처럼 다루는 방식이야.

영상 보면 T4가 달린 클라우드 VM에서 Llama-3.2-3B의 모든 레이어가 답변 도중에 한 GPU에서 다른 GPU로 넘어갔다가 다시 돌아오는 걸 볼 수 있어. 내 보잘것없는 노트북에서도 모델이 CPU, CUDA, Vulkan(iGPU)에 쪼개져서 돌아가는데, 생성 도중에 레이어 배치가 계속 바뀌지. KV 캐시도 페이징 처리돼서 레이어랑 같이 이동하니까 프롬프트를 다시 처리할 필요도 없고, 이동 없이 실행한 결과랑 똑같이 출력돼.

Hardware	Model	Move	Pause
2× T4	Llama-3.2-3B Q4_K_M	GPU 0 → GPU 1	8.1 ms
2× T4	Llama-3.2-3B Q4_K_M	GPU 1 → GPU 0	8.4 ms
2× V100	Llama-3.2-3B, 1.8k-token chat	GPU 0 → GPU 1	20–21 ms
RTX 3050 Ti laptop	Llama-3.2-1B Q4_K_M	CUDA → Vulkan	91 ms

이 설계가 진짜 대박인 건 확장성 때문이야. 커널을 그때그때 생성하니까 개선 사항이 모든 기기에 바로 적용되고, 엔진이 처음 보는 하드웨어라도 알아서 퓨징하고 튜닝할 수 있거든. 페이징이랑 재배치 기술 덕분에 모델 배치가 그냥 스케줄링 문제가 돼버려. 메모리보다 큰 모델도 돌리고, 사양 다른 GPU끼리 섞어 쓰고, 대화가 길어지면 알아서 작업 부하를 옮기는 식이지.

코드 -> https://github.com/jitllm/jitllm

원문

커뮤니티 목록

r/LocalLLaMA•약 6시간 전•37•11

응답 도중 GPU 간 모델 레이어 이동 (8ms, 재프리필 없음)

Moving a running model's layers between GPUs mid-reply (8 ms, no re-prefill)

핵심 요약

운영체제와 JIT 컴파일러 원리를 활용해 추론 중에도 GPU 간 레이어를 실시간으로 이동시키는 혁신적인 추론 엔진 'jitllm'을 소개합니다.

실시간 레이어 이동 — 추론 중단 없이 GPU 간 모델 레이어를 재배치함
JIT 커널 생성 — 하드웨어에 최적화된 커널을 즉석에서 생성하여 성능 극대화
메모리 효율성 — KV 캐시 페이징을 통해 재프리필 없이 원활한 전환 지원
하드웨어 유연성 — 이기종 하드웨어(CUDA, Vulkan, CPU) 간 모델 분산 및 이동 가능

Hardware	Model	Move	Pause
2× T4	Llama-3.2-3B Q4_K_M	GPU 0 → GPU 1	8.1 ms
2× T4	Llama-3.2-3B Q4_K_M	GPU 1 → GPU 0	8.4 ms
2× V100	Llama-3.2-3B, 1.8k-token chat	GPU 0 → GPU 1	20–21 ms
RTX 3050 Ti laptop	Llama-3.2-1B Q4_K_M	CUDA → Vulkan	91 ms

코드 -> https://github.com/jitllm/jitllm

주요 댓글

r/localllama

대부분의 사용자가 기술적 혁신성과 실용성에 감탄하며 긍정적인 반응을 보이고 있으나, 일부는 이해하기 어렵다는 반응을 보이기도 했습니다.

KV 캐시 재프리필 없이 8ms 만에 활성 레이어를 마이그레이션하는 건 정말 인상적이네요. 상태 핸드오프가 표준 PCIe를 통해 이루어지나요, 아니면 T4 간의 P2P나 NVLink에 의존하시나요?

감사합니다! T4에서는 일반 PCIe를 통한 P2P 방식을 사용합니다. NVLink는 없고, KV는 cuMemcpyPeer를 통해 카드 간에 이동합니다. 8ms는 순수하게 KV 핸드오프 시간이고, 대상 GPU는 응답이 스트리밍되는 동안 가중치와 커널을 준비합니다. NVLink가 있는 V100에서는 약 1.8k 토큰 기록을 가진 동일한 이동 작업이 20~35ms 걸렸습니다. 제 노트북(CUDA → Vulkan)에서는 백엔드 간 카드 직접 통신이 안 돼서 호스트 버퍼를 거치는데, 그래서 91ms가 걸리는 겁니다.

스트리밍이 진행되는 동안 가중치와 커널을 미리 준비하는 건 정말 영리하네요. 체감 지연 시간이 그렇게 짧은 이유가 설명됩니다. 솔직히 혼합 백엔드에서 호스트 메모리를 거쳐 91ms가 걸리는 것도 사람이 읽기에는 거의 눈치채지 못할 수준이죠. 정말 깔끔한 아키텍처입니다.

정말 새롭고 인상적이네요. 컴퓨팅 자원은 널려 있는데 파편화되어 있다는 점을 고려하면 이런 시도는 정말 반갑습니다. 작은 VRAM을 가진 카드들이 여러 개 있는데, 왜 굳이 큰 VRAM 하나를 위해 비싼 카드를 사야 하는지 의문이었거든요.

가장 자주 사용되는 MoE 가중치를 NPU에 유지하여 빠르고 저전력으로 추론할 수 있는 통합 메모리 아키텍처에서 GPU와 NPU 간 이동이 가능해지면 흥미롭겠네요.

이게 미래에 성능을 어떻게 향상시킬 수 있을까요? 덴스 모델이나 MoE 중 어디에서 더 큰 부스트를 예상하시나요?

커널은 하드웨어에 맞춰 즉석에서 생성되므로, 최신 기술을 적용하고 융합하기 쉽습니다. 이미 구현했습니다: q/k/v 및 gate/up 퓨전, GPU 내 matvec에서의 노름(norm) 및 양자화, MTP를 이용한 speculative decoding, MoE에서의 전문가별 페이징까지요. 덴스 모델과 MoE 모두에 해당합니다. - 참고: 모델을 통해 이탈리아어로 번역됨.

잘 모르겠네요. 좀 더 초보적인 용어로 사용 사례를 설명해주실 수 있나요? 언제 어떤 이점이 있는지 궁금합니다.

흥미로운 접근 방식이고 인상적인 POC네요. 잘하셨습니다!

매혹적인 작업이네요, 코드 공유 감사합니다! 작성자님의 배경을 고려할 때, DuplexCascade 같은 작업에 대해 어떤 생각을 하실지 궁금합니다. 다양한 토큰 스트림에 대한 반응을 멀티스레딩이나 스케줄링 문제로 고려해볼 수 있지 않을까요?