r/LocalLLaMA•3개월 전•609•88
Fable 5가 작성한 WebGPU 커널을 사용하여 브라우저에서 255 tok/s로 구동되는 Gemma 4 E2B
Gemma 4 E2B running in-browser at 255 tok/s using WebGPU kernels written by Fable 5
핵심 요약
브라우저 환경에서 WebGPU를 활용해 Gemma 4 모델을 초당 255 토큰 속도로 구동하는 데모가 공개됨.
- WebGPU 성능 — M4 Max 환경에서 초당 255 토큰의 빠른 추론 속도를 달성함.
- 데모 공개 — 누구나 직접 테스트해 볼 수 있도록 커널과 데모 코드가 배포됨.
- 브라우저 호환성 — WebGPU 지원 여부에 따라 일부 브라우저나 기기에서 실행이 제한될 수 있음.
Fable 5가 종료되기 전, Gemma 4 WebGPU 커널을 최적화하는 데 도움을 주어 제 M4 Max에서 초당 약 255 토큰을 달성했습니다. 오늘, 여러분이 직접 체험해 볼 수 있도록 데모와 커널을 공개합니다. 흥미롭게 봐주셨으면 좋겠네요!
링크:
