K2 Horizon AMA, IFM 팀을 만나보세요
AMA about K2 Horizon, Meet our team from IFM
핵심 요약
IFM 연구팀이 0.9B부터 375B까지의 오픈 모델 시리즈인 K2 Horizon을 공개하고 AMA를 진행합니다.
- K2 Horizon 공개 — 0.9B~375B 규모의 오픈 모델 6종과 학습 데이터 및 레시피 전체 공개함
- 연구팀 참여 — IFM 소속 연구원 6명이 사전 학습, 데이터 믹스, 배포 등 다양한 주제로 질의응답 진행함
- 기술적 관심사 — 모델 성능, KV 캐시 효율성, 어텐션 메커니즘 등 실무적인 질문이 주를 이룸
- 오픈 소스 기여 — 가중치뿐만 아니라 학습 로그와 체크포인트까지 투명하게 공개하여 커뮤니티의 주목을 받음
안녕 r/LocalLLaMA 형들!
우리는 오픈 소스 기반의 독립적인 최첨단 파운데이션 모델을 연구하는 AI 연구소, Institute of Foundation Models (IFM) 연구원들이야.
최근에 0.9B부터 375B까지 총 6개의 모델로 구성된 K2 Horizon을 공개했어. 단순히 모델 가중치만 푼 게 아니라, 학습 데이터랑 레시피, 학습 코드, 중간 체크포인트, 상세한 학습 로그랑 평가 결과까지 전부 다 오픈했으니까 참고해.
사전 학습(pre-training)이나 데이터 믹스, 사후 학습(post-training), 온디바이스용 소형 모델, MoVA, sparse attention, 배포 관련해서 궁금한 거 있으면 뭐든 물어봐. 지금 나와 있는 거나 앞으로 나올 것들에 대해서도 환영이야.
AMA 참여진:
-
Hector Liu u/hunterhector
-
Alexander Moreno u/IFMAlex
-
Mikhail Yurochkin u/my-moonfolk
-
Rupesh Srivastava u/k2pt
-
Junlin Chen u/Junlin_Chen110
-
Haonan Li u/East-Career9147
태평양 표준시(PT) 기준으로 10월 5일 월요일 저녁 8시부터 10시까지 라이브로 진행할 예정이야. 질문은 지금부터 미리 받을 테니까 편하게 남겨줘!
