r/LocalLLaMA•약 1개월 전•165•82
Aurora-80K 출시! 현대적인 초소형 언어 모델.
Aurora-80K releases! A modern tiny language model.
핵심 요약
8만 개의 파라미터로 구성된 초소형 언어 모델 Aurora-80K가 공개되어 성능과 실용성에 대한 논의가 이어지고 있습니다.
- 초소형 모델 — 파라미터 8만 개와 4,096 토큰 어휘를 갖춘 실험적 언어 모델임
- 학습 환경 — 샤오미 14T Pro 스마트폰을 사용하여 학습된 점이 특징임
- 성능 한계 — 실사용이 불가능한 수준의 결과물을 출력하여 유용성에 의문이 제기됨
- 커뮤니티 반응 — 모델의 실용성보다는 기술적 실험 자체에 주목하거나 농담 섞인 반응을 보임
huggingface.co
원문 사이트로 이동
파라미터가 딱 8만 개 들어간 초소형 언어 모델, Aurora-80K를 소개한다.
파라미터는 8만 개밖에 안 되는데 어휘 사전은 4,096 토큰으로 팩터화해서 썼음.
벤치마크 결과는 다음과 같다:
Wikitext-2 BPB: 3.2902
BLiMP: 52.31%
Arc-Easy: 26.05%
모델에 대한 자세한 정보는 허깅페이스 모델 페이지에서 확인 가능함.
궁금한 거 있으면 뭐든 물어봐, 성심성의껏 답해준다!
