LongCat-Flash-Lite-Sparse 다운로드 가능

Qwen3.6-35B보다 나은가?

총 80B 파라미터에 활성 파라미터 3B, 그리고 비사고형 모델인 Qwen3 Coder Next가 생각나네.

100만 토큰이면 RAM 얼마나 필요함? Deepseek flash는 캐시에 5GB도 안 썼는데, 이게 일반적인 건 아니라는 건 알고 있음.

진짜 좋네. 몇 달 안에 이 사이즈의 MoE 모델들이 DeepSeek V4 Flash만큼 성능이 좋아졌으면 좋겠음. 활성 파라미터가 3~6B 정도면 12GB나 16GB VRAM부터 지원 가능할 테니까.

256k에서 1M으로 네이티브 컨텍스트가 뛴 게 눈에 띄네. Dense MLA를 Sparse Attention으로 바꾼 게 VRAM 폭발 없이 긴 문맥을 처리할 수 있는 유일한 현실적인 방법인 듯.

69A3B 정도면 괜찮은 사이즈네!

ㅇㅇ Qwen3.6 27B보다 나았으면 좋겠다!