r/LocalLLaMA•약 23시간 전•37•5
NanoStories 출시!
NanoStories Releases!
핵심 요약
언어 모델 대신 규칙 기반 알고리즘으로 생성된 5천만 개의 이야기 데이터셋인 NanoStories가 공개되었습니다.
- 데이터셋 특징 — 기존 TinyStories보다 25배 큰 5천만 개의 이야기로 구성됨
- 생성 방식 — 언어 모델이 아닌 규칙 기반 알고리즘을 사용하여 제작됨
- 효율성 — 휴대폰 CPU로 10분 만에 생성 및 변환 완료
- 라이선스 — Apache 2.0 라이선스로 자유로운 활용 및 협업 장려
huggingface.co
원문 사이트로 이동
이건 Tinystories 스타일 데이터셋인데, Tinystories보다 25배 정도 많은 5천만 개의 이야기를 담고 있어. 언어 모델이 아니라 규칙 기반 알고리즘으로 생성했지.
생성하는 데 10분도 안 걸렸고, 파케이(parquet)로 변환해서 허깅페이스에 올리는 것까지 폰 CPU로 몇 분 만에 끝냈어.
질문이나 피드백, 비판은 언제든 환영이야!
