MiniMax-M3.1-Flash

이거 localllama의 새로운 비공식 로고로 써야 함

내 하드웨어에서 0.1 tps 나온다는 뜻으로 '빠르다'고 한 거면, 뭐 인정이지 ㅋㅋ

얘네가 빠른 건 기본적으로 모델이 작아서임. flash랑 non-flash 버전 둘 다 나온 모델들 보면 flash 버전이 항상 더 작았음. DeepSeek, MiMo, GLM 같은 거 봐봐. 사이즈랑 상관없다는 건 그냥 레딧 밈일 뿐임.

산업용 하드웨어에서나 Flash지. sparsity 없는 다른 모델들이랑 비교하면... 그래도 'Flash Lite' 버전은 좀 필요함.

여기 그 0.0001% 멤버임. DS4.1 1017이 존재하고, (GB RAM/VRAM 기준) 더 작고, 1M 컨텍스트에 1GB만 필요하며, 모든 벤치마크에서 이 모델을 이기는데 굳이 다운로드할 이유가 없음.

그래도 MiniMax가 비슷한 수준의 모델을 내놓은 건 정말 기쁨. 돌릴 수 있든 없든 선택지가 많아지는 건 모두에게 좋은 일이니까.

수정: 전체 체크포인트가 265GB인 것 같음. 그러니까 위 내용은 무시하셈. llama.cpp 지원이 시작되면 무조건 다운로드할 거임. 영상 생성도 가능하다는 얘기를 들었음. 만약 unsloth Q4_K_XL로 ~160GB까지 줄일 수 있다면, 내 8x P40 환경에서 괜찮은 올라운더가 될 수도 있겠음.

대부분의 사람들은 Qwen3.8-27B도 못 돌려.

근데 Safetensor 파일 용량이 '고작' 252GB네.