모델 배포를 탈중앙화할 때가 왔습니다! Noema Atlas를 소개합니다
It’s time to decentralize model distribution! Introducing Noema Atlas
핵심 요약
Hugging Face 의존도를 낮추고 P2P 방식으로 LLM 모델을 공유하는 오픈소스 도구 Noema Atlas를 소개합니다.
- P2P 모델 배포 — Iroh 프로토콜을 사용하여 중앙 서버 없이 모델 가중치를 직접 공유함
- 검증된 무결성 — BLAKE3 해시를 통해 모든 파일을 검증하고 중복 저장을 방지함
- 네이티브 앱 지원 — macOS, Windows, Linux를 지원하며 가벼운 데스크톱 환경을 제공함
- 검열 대응 — Hugging Face에서 삭제된 모델을 복구하고 공유할 수 있는 환경을 구축함
TL;DR: Noema Atlas는 로컬 LLM 가중치를 위해 Iroh를 사용하는 P2P 네트워크 소프트웨어고, 완전 무료 오픈 소스(Apache-2.0)야. 모델은 해당 파일을 가지고 있는 피어라면 누구한테서든 가져올 수 있고, 허깅페이스나 미러 사이트는 백업용(선택 사항)으로 쓰면 돼. 모든 파일은 콘텐츠 해시와 서명된 매니페스트로 식별되니까, 어디서 가져오든 똑같은 가중치면 중복 없이 검증된 사본 하나로 합쳐지고 스트리밍되는 모든 바이트는 실시간으로 검증돼. 다운로드 중에 소스가 끊기면 자동으로 다른 곳에서 이어받고, 똑같은 파일은 한 번만 저장(reflink/hardlink)하며, 허깅페이스에서 삭제된 모델도 여기서 살려서 공유할 수 있어. macOS/Windows/Linux용 네이티브 경량 데스크톱 앱이고, Iroh를 통해 기기 간 직접 전송을 지원해. atlas.noemaai.com
이 프로젝트를 발전시킬 수 있게 너희들의 도움이 필요해!
우리도 여기 커뮤니티 눈팅을 오래 했는데, 다들 똑같은 문제로 답답해하더라고. 특히 Fable 사태 이후로 가장 큰 문제는 모델을 특정 소스 하나에만 의존한다는 거였어. 허깅페이스는 미국에 본사가 있으니까, 나중에 정부가 "안전하지 않다"고 판단하는 오픈 소스 모델(특히 중국산 모델들)을 강제로 내리라고 압박할 가능성이 있잖아.
그래서 우리가 Rust로 Noema Atlas를 만들었어. 핵심 아이디어는 P2P 네트워크 소프트웨어를 써서 너희가 가진 모델을 직접 시딩(배포)하게 만드는 거야! 네 컴퓨터에 있는 모델을 다른 사람한테 바로 쏴줄 수도 있고, 네가 필요한 모델은 전 세계 어디든 그걸 가지고 있는 피어한테서 바로 받아올 수 있어. 허깅페이스나 기존 미러 사이트도 여전히 쓸 수 있지만, 그건 주변에 피어가 없거나 파일이 너무 최신이라 아직 퍼지지 않았을 때만 쓰는 백업용이야.
이 공유 방식이 안전한 이유는 파일의 정체성이 곧 그 파일 내용의 다이제스트(요약값)이기 때문이야. 모델 가중치는 어디서 가져왔든 상관없이 BLAKE3 해시로 검증되니까, Noema Atlas는 전통적인 "트래커" 없이도 피어들을 연결할 수 있어.
여기서 사람들이 그동안 원했던 기능 몇 가지를 바로 반영했어:
- 한 번만 저장. 모델 버전이 다르거나 미러 사이트가 달라도 똑같은 파일이면 딱 한 번만 저장해. 파일 시스템이 지원하는 경우, 프로젝트에 모델을 넣을 때 reflink나 hard link를 사용해서 용량을 아껴.
- 허브에서 삭제된 모델 구출. 삭제된 모델이 있다면 뭐든 가져와서 제목이랑 라이선스만 붙여주면 돼. 그걸 비공개 링크로 공유하거나 오픈 메시에 뿌릴 수 있어. 파일 헤더에 이미 이름이랑 양자화 정보가 기록되어 있어서, Atlas가 읽어온 내용을 확인만 해주면 작업은 거의 끝나. 샤딩된 모델은 하나의 번들 링크로 묶여서 이동하고, 각 파일은 개별적으로 검증돼.
- 오픈 라이선스 모델은 기본적으로 시딩. 퍼블릭 메시에서 가져온 오픈 라이선스 모델은 기본적으로 시딩되지만, 게이트가 걸린 다운로드나 네가 개인적으로 가져온 파일은 네가 직접 확인하기 전까지는 시딩되지 않아(설정에서 바꿀 수 있어). Atlas는 콘텐츠만 검증하고 라이선스 문제는 네 판단에 맡기니까, 네가 공유하겠다고 선택하지 않는 이상 아무것도 외부로 나가지 않아.
- Iroh를 통한 기기 간 직접 전송. 전송은 NAT를 뚫고 릴레이를 거치는 QUIC 연결 위에서 돌아가. BLAKE3 해시로 콘텐츠를 식별하니까 전송 과정 전체가 완벽하게 검증돼.
- 네이티브하고 가벼움. 웹 런타임 같은 거 안 쓰는 진짜 macOS, Windows, Linux용 데스크톱 앱이라 메모리도 적게 먹어. SSH 환경이나 스크립트 작업용으로 쓸 수 있는 CLI도 완벽하게 지원해. 좀 더 현대적인 인터페이스를 원하면 Noema Atlas Studio라는 앱을 따로 쓰면 돼. 같은 엔진을 쓰고 같은 저장소를 읽으니까, 한쪽에서 받은 모델이 다른 쪽에서도 바로 보여.
Noema Atlas와 Atlas Studio는 아직 개발 중이라 너희들의 기여가 절실해! 이번 첫 릴리즈도 마음에 들겠지만, 더 개선할 점이 많거든. 버그가 좀 있을 수도 있는데, 우리가 열심히 고칠 테니까
