80~160B 모델이 시급합니다. 통합 메모리 장치 시장에 더 많은 모델이 필요해요.
We need a 80-160B model urgently. The unified memory device market needs more Models.
핵심 요약
64~128GB VRAM/RAM 환경에서 활용할 수 있는 100B급 모델의 부재를 지적하며 새로운 모델 출시를 촉구함.
- 하드웨어 불균형 — 64~128GB 메모리를 갖춘 장치는 많지만 적절한 크기의 모델이 부족함.
- 모델 크기 문제 — 최신 모델들이 너무 작거나(27B/31B) 너무 커서(5B+) 활용이 어려움.
- 데이터센터 최적화 — 기업들이 H100 GPU에 맞춘 모델만 출시하는 경향이 있음.
- 사용자 요구사항 — 100B급 Sparse MoE 모델이나 80B~120B급 모델 출시를 강력히 원함.
여러분 안녕하세요,
간단하게 말씀드리겠습니다.
"느린" RAM이 충분하지는 않지만 많이 가지고 있는 사람들이 정말 많습니다.
96GB 이상의 Apple 기기를 가진 분들
96GB 이상의 Ryzen AI 395 기기를 가진 분들
DGX Spark를 가진 분들
심지어 RTX 6000 Pro나 4x3090 같은 구성을 가진 분들
혹은 128GB DDR4/5 RAM을 가진 분들까지요.
하지만 지난 3개월 동안 나온 모델들은
고속 저용량 기기를 위해 만들어졌거나
(27B Qwen, 31B Gemma)
아니면 반대로 엄청나게 큰 모델들뿐이었습니다.
(GLM 5.2, Deepseek V4 Pro, Kimi 2.7, Mimo 2.5 Pro, MiniMax M3)
통합 메모리 장치나 80-128GB 구성을 가진 우리들은
현재 모델 생태계가 확장되면서 성능이 뒤처진 구형 모델을 사용해야만 합니다.
(Glm 4.5 Air, GPT OSS 120B, Qwen 3.5 122B, Nemotron 3 Super 120B, Qwen 3 Coder Next 80B)
아니면 느린 대역폭의 RAM/VRAM 때문에 작은 모델을 써야 하죠.
(Qwen 3.6 35B 또는 Gemma 4 26B)
우리는 100B 10B Sparse 정도의 모델이 필요합니다. AMD 9700 AI Pro나 RTX 3090/5090에 64GB VRAM을 가진 사람들이 쓸 수 있는 모델 말이죠. DGX Spark 사용자나 AI395+ 사용자, Apple 사용자 등 모두를 위한 모델이요.
GPT OSS 120B V2, Gemma 4 122B, Qwen 3.6/3.7 122B, GLM 5.2 Air, Deepseek V4 Mini 100B, Mimo 2.5 Mini 100B 같은 모델이나, 아니면 Qwen 3.6 Coder 80B 같은 모델이라도 나오면 정말 좋을 것 같습니다.
정말 뭔가 하나 나와주길 바랍니다. 안 그러면 저는 당분간 Spark에서 Qwen 3.5 122B를 계속 써야 하니까요.
감사합니다.
