CrowdGPT v2.6 - 협업형 LLM 프로젝트
CrowdGPT v2.6 - The collaborative LLM
핵심 요약
데이터센터 없이 개인 PC 자원을 활용해 협업으로 LLM을 학습시키는 CrowdGPT v2.6 업데이트 소식입니다.
- 협업 학습 모델 — 중앙 서버 없이 개인 PC 자원을 모아 10억 파라미터 모델을 학습함
- 보안 강화 — 비잔틴 교차 검증 및 클라이언트 암호화 서명을 도입해 악의적 기여를 방지함
- 성능 향상 — 6일 만에 45억 토큰 학습을 달성하며 클라이언트 사용성을 대폭 개선함
- 오픈 벤치마크 — CrowdBench를 통해 누구나 일반 지능 질문을 추가하고 모델을 테스트할 수 있음
일주일 전 원문을 봤던 사람들은 알겠지만, 드디어 CrowdGPT v2(정확히는 v2.6)를 공개한다. 기존 CrowdGPT 프로젝트를 완전히 갈아엎은 대규모 업데이트임 :D (새로 바뀐 내용은 아래로 내려서 확인해라)
처음 온 사람들을 위해: CrowdGPT는 데이터센터나 AI 기업들이 쏟아붓는 수백만 달러 없이도 LLM을 만들어보자는 프로젝트다.
이 프로젝트는 10억 개의 파라미터를 가진 모델을 다 같이 힘을 합쳐서 공개적으로 학습시키는 걸 목표로 한다. 일종의 **개념 증명(proof of concept)**이라고 보면 된다. (이 방식으로 더 큰 밀집 모델이나 MoE 아키텍처까지 확장하는 것도 충분히 가능하다)
프로젝트 방향성을 모두가 함께 정하는 프로토콜을 도입했다. 누구나 자기 PC로 AI를 독자적으로 학습시킨 다음, 그 기여분을 전체 모델에 합칠 수 있다.
오픈소스 커뮤니티 입장에서 매력적인 요소가 더 많지만, 깃허브나 원문에서 이미 다 다뤘던 내용이라 여기서 또 길게 말하진 않겠다.
물론 프로젝트에 대한 조언이나 피드백은 언제든 환영이다. (예의는 좀 지켜주고, 깔 거면 확실한 근거를 들고 와라 👍) 우리 방식의 한계를 시험해보고 싶다면 데이터 포이즈닝 실험도 마음껏 해봐라 :)
프로젝트 웹사이트는 여기다: https://www.crowdgpt.net/
코드를 확인하고 싶으면 깃허브로 가라: https://github.com/Vxtzq/CrowdGPT
v2.6 변경 사항: 너희들이 준 피드백(특히 보안 관련)을 거의 다 반영했다. 구현하는 과정이 빡세서 기존 학습 기여분이 날아가는 등 브레이킹 체인지가 좀 있었지만, 그래도 6일 만에 45억 개의 새로운 토큰을 학습시키는 데 성공했다!! 내 개인 GPU로 두 달 동안 굴려서 했던 걸 6일 만에 끝낸 거다 🤯
구현한 내용 요약이다:
- 강력한 서버 측 검증 로직 (자세한 건 글 하단 참고).
- 훨씬 나아진 클라이언트 메커니즘 (사용성 개선, 설치 간소화, GPU 선택 기능 추가, 튕김 현상 해결)
- 버그 대거 수정 (깃허브 이슈랑 풀 리퀘스트에 올라온 것들 서버/클라이언트 코드에서 싹 다 잡음)
- Crowd-v1 모델에 Engrams 활성화, 이제 모델이 사실 관계를 더 잘 기억할 거다.
- 데이터 제출 파이프라인 구현, CrowdGPT를 위한 협업 데이터셋을 만들 거다 모든 데이터는 학습 전에 검증 및 큐레이션을 거친다. 벌써 400kb 정도 데이터가 들어왔다.
