r/LocalLLaMA•약 4시간 전•61•9

GitHub - google-ai-edge/ml-drift: GPU 가속 AI/ML 추론

GitHub - google-ai-edge/ml-drift: GPU-Accelerated AI/ML Inference

핵심 요약

구글이 온디바이스 AI 추론을 위한 고성능 GPU 컴퓨팅 엔진인 ML Drift를 오픈소스로 공개했습니다.

ML Drift 공개 — 다양한 플랫폼에서 GPU 가속을 지원하는 오픈소스 추론 엔진임
성능 향상 주장 — 기존 오픈소스 엔진 대비 10배 수준의 성능 개선을 강조함
기술적 의문 — 모바일 중심의 성능 지표만 있고 CUDA/Vulkan 비교가 부족하다는 지적이 있음
용도 구분 — llama.cpp와 같은 범용 LLM 엔진이 아닌 엣지 디바이스 최적화에 초점을 맞춤

github.com

원문 사이트로 이동

블로그 포스트: ML Drift: Next-Gen GPU AI/ML Inference at the Edge - Google Developers Blog

Google AI Edge 팀에서 ML Drift의 오픈소스 공개를 발표하게 되어 정말 기쁩니다. 이건 온디바이스 AI/ML 추론을 위해 특별히 설계된 고성능 크로스 플랫폼 온디바이스 GPU 컴퓨팅 엔진이고, Apache 2.0 라이선스로 풀렸습니다. OpenGL ES, OpenCL, Metal, WebGPU 등 온디바이스 GPU의 하드웨어 및 저수준 API 복잡성을 싹 다 추상화해서, 개발자들이 고급 비디오 효과부터 생성형 AI까지 다양한 플랫폼에서 실시간 인터랙티브 ML 경험을 만들 수 있게 해줍니다. LiteRT의 핵심 GPU 가속 엔진으로 쓰이는 건 물론이고, 커스텀 그래픽이나 추론 런타임을 위한 독립형 라이브러리로도 쓸 수 있어서 어디서든 최고의 성능을 뽑아낼 수 있는 통합 기반을 제공합니다.

원문

커뮤니티 목록

r/LocalLLaMA•약 4시간 전•61•9

GitHub - google-ai-edge/ml-drift: GPU 가속 AI/ML 추론

GitHub - google-ai-edge/ml-drift: GPU-Accelerated AI/ML Inference

핵심 요약

구글이 온디바이스 AI 추론을 위한 고성능 GPU 컴퓨팅 엔진인 ML Drift를 오픈소스로 공개했습니다.

ML Drift 공개 — 다양한 플랫폼에서 GPU 가속을 지원하는 오픈소스 추론 엔진임
성능 향상 주장 — 기존 오픈소스 엔진 대비 10배 수준의 성능 개선을 강조함
기술적 의문 — 모바일 중심의 성능 지표만 있고 CUDA/Vulkan 비교가 부족하다는 지적이 있음
용도 구분 — llama.cpp와 같은 범용 LLM 엔진이 아닌 엣지 디바이스 최적화에 초점을 맞춤

github.com

원문 사이트로 이동

블로그 포스트: ML Drift: Next-Gen GPU AI/ML Inference at the Edge - Google Developers Blog

Google AI Edge 팀에서 ML Drift의 오픈소스 공개를 발표하게 되어 정말 기쁩니다. 이건 온디바이스 AI/ML 추론을 위해 특별히 설계된 고성능 크로스 플랫폼 온디바이스 GPU 컴퓨팅 엔진이고, Apache 2.0 라이선스로 풀렸습니다. OpenGL ES, OpenCL, Metal, WebGPU 등 온디바이스 GPU의 하드웨어 및 저수준 API 복잡성을 싹 다 추상화해서, 개발자들이 고급 비디오 효과부터 생성형 AI까지 다양한 플랫폼에서 실시간 인터랙티브 ML 경험을 만들 수 있게 해줍니다. LiteRT의 핵심 GPU 가속 엔진으로 쓰이는 건 물론이고, 커스텀 그래픽이나 추론 런타임을 위한 독립형 라이브러리로도 쓸 수 있어서 어디서든 최고의 성능을 뽑아낼 수 있는 통합 기반을 제공합니다.