Inkling 2 Small 모델 소개
Introducing Inkling 2 Small
핵심 요약
594B 파라미터 규모의 Mixture-of-Experts 모델 'Inkling 2 Small'이 공개되었습니다.
- 모델 사양 — 총 594B 파라미터 및 17B 활성 파라미터를 가진 MoE 모델임
- 성능 향상 — 코딩, 비전, 추론 등 전반적인 지능 지표에서 큰 폭의 성능 개선을 보임
- 배포 방식 — 현재 Tinker에서 사용 가능하며 다음 주 Apache 2.0 라이선스로 가중치 공개 예정
- 사용자 반응 — 모델 규모가 'Small'이라기엔 너무 크다는 반응이 주를 이룸
thinkingmachines.ai
원문 사이트로 이동
오늘 우리는 2세대 모델인 Inkling 2 Small을 공개한다. 이 모델은 594B total parameters, 17B active를 가진 Mixture-of-Experts 모델이고, 이미지 입력이랑 가변적인 연산량(variable effort)을 지원함.
Inkling 2 Small은 Artificial Analysis Intelligence Index에서 31점을 찍으면서 이전 모델들 점수를 가볍게 압살함. 에이전트 코딩, 비전, 지식 업무, 추론 능력까지 싹 다 성능이 올라갔거든. 이런 능력치 상승은 더 효율적인 사전 학습이랑 대규모 통합 RL 실행을 포함해서, 학습 과정 전반을 싹 다 갈아엎은 덕분임.
Inkling 2 Small은 일단 Tinker를 통해서 먼저 공개될 거고, 가중치는 safe path to open weights에서 설명했던 방식대로 일단 닫아둘 예정임. 외부 안전성 테스트랑 레드팀 평가 끝나는 대로 다음 주에 Apache 2.0 라이선스로 가중치 전체를 공개할 계획이다.
지금 바로 Tinker Playground에서 Inkling 2 Small 써볼 수 있음. Tinker에서 파인튜닝이랑 샘플링도 다 가능하고, 나중에 가중치 정식 공개되면 체크포인트도 다운로드할 수 있게 풀릴 거임.
:( 이전 Inkling Small 모델은 276B total, 12B active밖에 안 됐는데. 조만간 Mini나 Nano 같은 모델도 추가로 좀 내줬으면 좋겠네.
