r/LocalLLaMA•3개월 전•38•7
브라우저에서 25fps로 구동 가능한 LivePortrait 증류 모델
LivePortrait distilled model that can run at 25fps in the browser
핵심 요약
웹 브라우저에서 실시간으로 구동되는 경량화된 LivePortrait 증류 모델의 프로토타입을 공개했습니다.
- 성능 최적화 — WebGPU를 활용해 브라우저에서 30ms 이내로 프레임 생성함
- 모델 증류 — 기존 ONNX 모델을 경량화하여 실시간 구동 구현함
- 기술적 한계 — 학습 데이터 부족으로 인해 입 모양 등 세부 표현이 다소 흐릿함
- 향후 개선점 — 학습 시간과 데이터셋을 늘려 표현력과 정확도를 높일 예정임
huggingface.co
원문 사이트로 이동
이 프로젝트는 Chrome에서 WebGPU를 사용해 LivePortrait(https://github.com/KlingAIResearch/LivePortrait)의 ONNX 버전을 실행하려는 시도에서 시작되었습니다. 처음에는 단일 프레임을 생성하는 데 30초나 걸렸죠. 성능을 개선하기 위해 몇 가지 다른 옵션을 검토하다가, 결국 모델을 훨씬 작게 증류(distill)해보면 재밌겠다는 결론을 내렸습니다.
링크된 것은 증류된 모델의 첫 번째 프로토타입 데모입니다. 제 5090 환경에서는 프레임 생성에 30ms 미만이 소요되며 100% 브라우저에서 구동됩니다. 품질은 그럭저럭 괜찮은 수준인데, 초상화 데이터를 적게 사용했고 학습 시간도 몇 시간밖에 되지 않아 초상화마다 성능 차이가 있을 수 있습니다. 다른 GPU를 사용하시는 분들은 렌더링 속도가 어떤지(빠른지, 혹은 느린지!) 정말 궁금합니다.
