Crowd-v1 - 협업형 LLM 프로젝트

둘째, 중앙 서버를 사용해서 모든 클라이언트 간의 조율을 담당함. 덕분에 순수 P2P 방식보다 훨씬 안정적임(서버가 기여 내용을 검사해서 악의적인 기여가 모델에 합쳐지는 걸 방지함).

단일 실패 지점(Single point of failure)이라고 하기엔 너무 관대한 표현 같음. 이 프로젝트가 조금이라도 규모가 커지면 그 서버는 해커들의 1순위 타겟이 될 거임. 공격자가 서버만 뚫으면 프로젝트 전체를 망칠 수 있다면 보안 모델을 업데이트해야 함. 특히 학습 서버에 별다른 보안 계층이 없다면 중앙화는 실수임.

응! 여기 링크를 올려도 되는지 모르겠는데, 리드미에 링크 걸어뒀음.

악의적인 참여자는 어떻게 막음?

서버 측에서 엄격한 비잔틴 교차 검증을 실행함. 즉, 클라이언트가 임의의 데이터로 학습하면 그래디언트가 다르기 때문에 악의적인 것으로 표시됨.

할 수 있는 만큼 기여했어. 앞으로 며칠간은 내 컴퓨터를 다른 용도로 써야 해서 말이야. 개선할 만한 점 몇 가지(순서 상관없음):

• 다음 연산 단계와 업로드 단계 병렬화(가능하다면): 1GB씩 업로드하느라 연산 세션 사이에 대기 시간이 너무 길어. 나 광랜 쓰는데도 이래.
• 같은 데이터에 작업자 3명을 붙이는 건 검증 차원에서 좋지만, 점수 1.00인 사람들은 검증을 무작위로 돌리고 작업자를 2명으로 줄이는 건 어떨까? 결과가 다르면 페널티를 세게 먹이고 세 번째 검증자를 투입하는 식으로.
• 다른 사람들이 제안했듯이, 체크포인트의 유효성을 강화하기 위해 블록체인을 도입하는 것도 고려해 볼 만해. 기여자들에게 '보상'을 주는 방법이 될 수도 있고.
• 단일 인스턴스에서 멀티 GPU 지원.
• 리더보드: 기여도 0인 사람들은 표시하지 마. 리스트가 쓸데없이 길어지기만 하고(광고 효과도 없음... 오히려 반대지).

전반적으로 이 프로젝트 마음에 들어. 개인적이고 엄선된 데이터셋으로 학습된 오픈 모델들과 비교했을 때 얼마나 경쟁력이 있을지는 확신이 안 서지만, 시도해 볼 가치는 있다고 봐.

이 아이디어 진짜 마음에 듦.

모델 학습에 토큰이 대략 얼마나 필요함?

지금 바로 예비 3090 컴퓨터에 설치하러 감.

Crowd-v1을 어느 정도 쓸만하게 만들려면 100B 토큰 정도 학습시켜야 할 것 같음. 그 후에 1B 토큰 정도로 인스트럭션 튜닝을 하고, 마지막엔 RLHF를 써서 좀 더 안전하게 만들 예정임.