inclusionAI/Ling-3.1-flash · Hugging Face
560B 파라미터 규모로 출시된 Ling-3.1-flash 모델에 대한 커뮤니티의 놀라움과 로컬 모델 크기 변화에 대한 토론.
huggingface.co
원문 사이트로 이동
총 파라미터 560B, 토큰당 활성 파라미터 25B, 그리고 1M-token 컨텍스트 윈도우라고?
잠깐, 뭐? 3.0은 겨우 127B였잖아.
사용자들은 모델의 거대화에 놀라움을 표하면서도, 실사용을 위한 소형 모델의 부재를 아쉬워하며 'flash'라는 명칭의 모호함에 대해 토론하고 있습니다.
이제 플래시 모델들이 Deepseek V3 수준의 크기에 근접하고 있다는 점이 흥미롭네.
맞아.. 왜 그런지는 이해해. 벤치마크가 마케팅에 정말 중요하니까. 하지만 로컬 모델(50B 미만, 이상적으로는 30B 미만)에 좀 더 집중해 줬으면 좋겠어.
내가 알기로는 메타, 엔비디아, Qwen 정도만 그 사이즈의 모델을 만드는 것 같아. 미스트랄조차도 한동안 미니스트랄을 내놓지 않았고.
수정: 그리고 구글도.
아니, 이제는 이런 모델들이 더 이상 소소한 홈랩 장난감이 아니라, 처음부터 16만 6천 달러짜리 랙 마운트 서버 클러스터를 타겟으로 설계되는 단계에 도달한 거야.
투자를 계속 유치하고 선도적인 연구소들을 따라잡으려면 그 방법밖에 없거든.
Strata 써보고 나서 솔직히 이제 로컬 모델 사이즈는 NVMe에서 모델 대부분을 로드할 수만 있다면 200b까지도 가능하다고 본다.
난 모델 이름에 붙은 'flash'가 크기가 아니라 속도를 의미하는 줄 알았는데.
이 속도라면 Ling 3.1 Tiny는 80b-a6b 정도 되겠네.
그 정도 사이즈면 꽤 괜찮을 듯, 솔직히.
Ling 3.0 Flash(활성 파라미터 5.1b)는 TB 4.0에서 0%인데, Ling 3.1 Flash(활성 파라미터 25b)는 46.03점을 기록함.
와우 플래시
이제 'flash'가 무슨 뜻인지 도통 모르겠네.
예전에는 MoE이면서 사고 과정이 없는 모델을 뜻했던 것 같은데, 이제는... 교사 모델에서 증류된 모델이나 극단적인 희소성을 의미하는 건가?
그러니까... 이제 flash랑 일반 모델의 경계가 뭔지 모르겠어.
(내심 동의함)
드디어 최신 벤치마크 DLC를 구매해서 대형 모델들이랑 어깨를 나란히 할 때의 기분이지
Ling 3.0은 127B에 5B였음. Ling 3.1은 대략 5배 정도 더 크네. 새로운 거대 모델이 구형 소형 모델을 이기는 게 참 흥미롭구만.
'플래시'는 '빠르다'는 뜻이지. 여기서 '빠르다'는 건 플래그십(그게 뭐든 간에)보다 빠르다는 거고.
PS5에서 LLM을 구동했다는 소식에 놀라워하다가, 극단적인 양자화(IQ2-XXS) 사실을 알고 실망하는 반응이 주를 이룹니다.
PS5에서 LLM을 구동했다는 소식에 놀라워하다가, 극단적인 양자화(IQ2-XXS) 사실을 알고 실망하는 반응이 주를 이룹니다.
Claude의 기존 Projects 기능이 단일 채팅 기반의 새로운 방식으로 변경되어, 기존의 폴더형 워크플로우를 사용하던 사용자들이 불편을 겪고 있습니다.
Claude의 기존 Projects 기능이 단일 채팅 기반의 새로운 방식으로 변경되어, 기존의 폴더형 워크플로우를 사용하던 사용자들이 불편을 겪고 있습니다.
제프리 힌튼의 트럼프 비판 기사에 대해 커뮤니티는 'AI의 대부'라는 수식어에 대한 피로감을 주로 드러냈습니다.
제프리 힌튼의 트럼프 비판 기사에 대해 커뮤니티는 'AI의 대부'라는 수식어에 대한 피로감을 주로 드러냈습니다.