r/LocalLLaMA•5개월 전•55•8
ByteDance-Seed/Cola-DLM · 허깅페이스 공개
ByteDance-Seed/Cola-DLM · Hugging Face
핵심 요약
ByteDance가 공개한 연속 잠재 공간 확산 기반의 새로운 언어 모델 Cola-DLM을 소개합니다.
- 모델 아키텍처 — Text VAE와 블록 인과적 DiT 잠재 사전을 결합하여 구성됨.
- 학습 방식 — Text VAE 사전 학습 후 Flow Matching을 통한 공동 학습을 수행함.
- 성능 지표 — 논문의 RQ4 스케일링 곡선에 보고된 2000 EFLOPs 체크포인트를 제공함.
- 기술 사양 — OLMo 2 토크나이저를 사용하며 Apache 2.0 라이선스로 공개됨.
Cola DLM (Continuous Latent Diffusion Language Model)은 계층적 연속 잠재 공간 확산 언어 모델입니다. 이 모델은 Text VAE와 블록 인과적 Diffusion Transformer (DiT) 사전을 결합했습니다. VAE는 텍스트를 연속적인 잠재 시퀀스로 매핑하고 잠재 값을 다시 토큰으로 디코딩하며, DiT는 Flow Matching을 통해 잠재 사전 전송을 수행합니다.
이 모델 저장소에는 Continuous Latent Diffusion Language Model 논문을 위한 허깅페이스 형식의 체크포인트가 포함되어 있습니다.
링크
- 모델 저장소: https://huggingface.co/ByteDance-Seed/Cola-DLM
- GitHub 저장소: https://github.com/ByteDance-Seed/Cola-DLM
- 논문: https://arxiv.org/abs/2605.06548
- 허깅페이스 데일리 페이퍼: https://huggingface.co/papers/2605.06548
- 프로젝트 페이지: https://hongcanguo.github.io/Cola-DLM/
- 블로그 포스트: https://hongcanguo.github.io/posts/2026-cola-dlm.html
- Zhihu 아티클: https://zhuanlan.zhihu.com/p/2038324180920313704
