r/LocalLLaMA•3개월 전•132•87
PageStorm: 창의적인 소설 집필을 위해 구축된 모델
PageStorm: A Model Built for Creative Book Writing
핵심 요약
긴 문맥의 창의적 글쓰기를 위해 150B 토큰으로 학습된 14B 규모의 PageStorm 모델이 공개되었습니다.
- 모델 성능 — 14B 규모임에도 256K 토큰의 긴 문맥을 처리하며 기존 벤치마크를 상회함
- 학습 데이터 — 소설 규모의 창의적 글쓰기를 위한 LongPage 데이터셋 활용
- 기술적 한계 — 긴 문맥 생성 시 발생하는 반복 루프 및 논리적 저하 문제 존재
- 인프라 — 구글 TPU Research Cloud를 활용하여 Ring Attention Pallas 커널로 학습됨
Over a year ago, we set out to build a single-turn full-book writing model. Half a year ago, we published our LongPage Dataset for book scale creative writing. Today, we are announcing our first model: PageStorm Research Preview.
Paper: https://arxiv.org/abs/2605.17064
Models: https://huggingface.co/collections/Pageshift-Entertainment/pagestorm-research-preview
