r/LocalLLaMA•2개월 전•478•169
Thinking Machines의 Inkling-Small
Inkling-Small by thinkingmachines
핵심 요약
276B 파라미터 모델이 'Small'로 분류되는 것에 대한 사용자들의 불만과 높은 하드웨어 요구 사양에 대한 토론이 이어짐.
- 모델 사양 — 276B 총 파라미터와 12B 활성 파라미터, 1M 컨텍스트 윈도우를 지원함.
- 명칭 논란 — 276B 규모의 모델을 'Small'이라고 부르는 것에 대해 사용자들이 회의적인 반응을 보임.
- 하드웨어 장벽 — 일반 소비자용 하드웨어에서 구동하기에는 너무 높은 사양을 요구함.
- 성능 비교 — DSV4 Flash 모델과 벤치마크 점수는 비슷하지만 코딩과 에이전트 작업에서 우위를 보임.
huggingface.co
원문 사이트로 이동
276B 총 파라미터, 12B 활성 파라미터, 1M 컨텍스트 윈도우.
블로그 포스트: https://thinkingmachines.ai/news/inkling-small/
NVFP4: https://huggingface.co/thinkingmachines/Inkling-Small-NVFP4
Unsloth의 GGUF: https://huggingface.co/unsloth/Inkling-Small-GGUF
