r/LocalLLaMA•5개월 전•170•18
Cloudflare, 무손실 LLM 압축 도구 오픈소스 공개
Cloudflare open-sources lossless LLM compression tool
핵심 요약
Cloudflare가 LLM의 정확도 손실 없이 모델 크기를 15~22% 줄여주는 무손실 압축 시스템 'Unweight'를 공개함.
- Unweight 공개 — LLM의 정확도 저하 없이 모델 크기를 15~22% 줄여주는 무손실 압축 시스템을 발표함.
- VRAM 절감 효과 — Llama-3.1-8B 모델 기준, Nvidia H100 GPU에서 약 3GB의 VRAM 사용량을 절감함.
- 오픈소스 전략 — GPU 커널을 GitHub에 공개하고 기술 논문을 발표했으며, 향후 어텐션 가중치까지 압축 범위를 확대할 계획임.
Cloudflare가 LLM의 크기를 정확도 손실 없이 15~22% 줄여주는 무손실 압축 시스템인 Unweight를 출시했습니다.
Meta의 Llama-3.1-8B 모델에서 이 도구는 Nvidia H100 GPU의 MLP 가중치를 압축하여 약 3GB의 VRAM을 절감합니다.
Cloudflare는 GPU 커널을 GitHub에 오픈소스로 공개하고 기술 논문을 발표했으며, 향후 어텐션 가중치까지 압축 범위를 확대할 계획입니다.
