r/LocalLLaMA•5개월 전•23•33
처음으로 모델을 밑바닥부터 직접 만들어봤습니다
I BUILT MY FIRST MODEL FROM SCRATCH
핵심 요약
IoT 기기 구동을 목표로 40M 파라미터 규모의 초소형 LLM 'Shard'를 개발하여 공개함.
- 초소형 모델 개발 — IoT 기기에서 구동 가능한 40M 파라미터 규모의 LLM 'Shard'를 직접 설계함.
- 실용성 논란 — 작성자의 모델 명명 방식과 홍보 태도에 대해 커뮤니티 내에서 비판적인 의견이 제기됨.
- 기술적 질의응답 — 학습 데이터셋 규모와 구체적인 활용 사례에 대한 기술적인 토론이 이어짐.
- 커뮤니티 교류 — 소형 LLM 연구를 위한 디스코드 채널을 홍보하며 관심 있는 사용자들과 소통함.
안녕, 난 Crownelius야. 그 유명한 opus distill 데이터셋을 만든 사람이지.
오늘 소개할 건 40M 파라미터 규모의 비정형 LLM, SHARD야.
지금은 IoT 작업에서 일관성 있게 작동하는 모델을 목표로 일련의 초소형 LLM들을 연구 중이야. 원자 모델(atomic models)을 조사하다가 Compact AI라는 프로젝트를 알게 됐어. 거기 합류한 뒤로 많은 걸 배웠고, 밑바닥부터 직접 내 모델을 만들기도 했지.
모델은 여기서 확인할 수 있어: CompactAI-O[HF Organization]
내 모델 'Shard'에 대해 말하자면, 난 이걸 Scamp라고 불러.
