Hugging Face, safetensors를 PyTorch Foundation으로 이전
HF moves safetensors to the PyTorch Foundation
핵심 요약
Hugging Face가 safetensors의 관리 주체를 PyTorch Foundation으로 이전하여 개방형 거버넌스를 구축함.
- 관리 주체 이전 — safetensors의 상표권과 저장소를 Linux Foundation 산하 PyTorch Foundation으로 이관함.
- 개방형 거버넌스 — 특정 기업에 종속되지 않는 중립적인 관리 체계를 통해 생태계 협력을 강화함.
- 기능 유지 — 기존의 파일 형식, API, Hub 호환성은 그대로 유지되며 당장 바뀌는 것은 없음.
- 향후 최적화 — PyTorch 코어 통합 및 장치별 로딩 최적화 등 생태계 전반의 성능 개선을 도모함.
안녕하세요 로컬 라마 여러분, Hugging Face의 Lysandre입니다.
오늘부로 Safetensors를 PyTorch(물론), vLLM, DeepSpeed, Ray, 그리고 최근 발표된 Helion과 함께 PyTorch Foundation 산하로 공식 이전합니다. 구체적으로는 상표권과 저장소가 Hugging Face가 아닌 Linux Foundation에서 관리하게 되며, 이는 중립적인 관리와 개방형 거버넌스를 의미합니다.
로컬 추론 환경에서는 오늘 당장 바뀌는 것은 없습니다. 기존과 동일한 형식, 동일한 API, 동일한 Hub 호환성을 유지하며, PyTorch 코어에 가장 잘 통합될 수 있는 방법을 PyTorch 팀과 직접 협력하고 있습니다.
이를 통해 생태계 전반과 더 개방적으로 협력하여 추가적인 최적화를 진행할 수 있게 되었습니다. 단순한 파일 형식을 넘어, python/pytorch 생태계 전반에서 성능을 향상할 기회가 많습니다. 다양한 가속기에서의 장치 인식 로딩, tp/pp 최적화 로딩, 그리고 물론 새로운 양자화/데이터 타입 지원 등이 포함됩니다.
현재 향후 몇 달에서 몇 년간의 로드맵을 다듬고 있으며, 여러분과 함께 작업할 수 있다면 기쁠 것입니다. 이와 관련하여, 혹은 거버넌스 측면에 대해 궁금한 점이 있다면 무엇이든 답변해 드리겠습니다.
추신: 자세한 내용은 여기 블로그 게시물에 작성해 두었습니다: https://huggingface.co/blog/safetensors-joins-pytorch-foundation
