The new k2 horizon models seem like an absolute beast
새로 공개된 k2 horizon 모델들의 성능과 벤치마크 신뢰성에 대한 커뮤니티의 관심과 의구심이 교차함.
특히 7B 모델이 진짜 물건이네. 훨씬 작은 사이즈로 muse glimmer를 그냥 가볍게 박살 내버리는데? 게다가 모든 과정을 전부 오픈 소스로 풀었음. 이거 써본 사람 있음? 7B랑 3.7B 모델이 벤치마크 점수 놀이만 하는 게 아니라 실성능까지 좋다면, 이거 완전 새로운 이정표가 될 듯.
K2 Horizon 모델의 성능과 잠재력에 대해 기대하는 목소리도 있지만, 실제로는 엄청난 VRAM과 캐시를 요구하는 비효율적인 아키텍처라는 비판적 의견이 주를 이룹니다.
와, 36B A4는 우리가 그토록 원했던 qwen3.8 35b a3b 그 자체네.
KV 캐시가 (아키텍처 때문에) 얼마나 비싼지 생각하면 딱히 그렇지도 않음. 하드웨어 관점에서는 Qwen 3.8 27B dense를 돌리는 거랑 비용이 똑같거든. 7B 모델 벤치마크가 사실이라면 12/16GB VRAM을 가진 사람들에겐 큰일이겠지만 (AA 측 말로는 7B 모델이 말이 너무 많아서 컨텍스트가 금방 찰 거라고 하더라).
아니, 7B 모델조차 bf16으로 512k 컨텍스트 윈도우를 다 채우려면 77.31GB가 필요해.. 진짜 미친 수준이지.
링크 있어? 대역폭이나 메모리 중 어디에 제약이 걸릴까? 후자라면 감당할 수 있는데.
꿈 깨시지. Qwen35_MOE 아키텍처랑 다르게 이건 캐시를 미친 듯이 잡아먹어. 내가 Ornith 1.5 35b a3b는 32GB GPU 하나로 262k bf16 컨텍스트를 꽉 채워서 돌리는데, K2 horizon은 FP8인데도 32GB GPU 2개가 필요해. 그래도 330k 컨텍스트까지 밀어붙이는 데 성공했으니, 드디어 두 번째 GPU를 쓸 이유가 생겼네.
하, 그러게.
벤치마크에 뭔가 이상한 점이 있음. K2 36B가 Qwen 3.8 27B low랑 맞먹고, K2 375B가 Qwen 3.8 27B high보다 낮다는 게 말이 됨? 36B가 벤치마크 점수만 높게 뽑았거나, 375B가 엄청 대충 학습된 거임.
아니면 그냥 기본적으로 모델들의 사고 수준이 높지 않은 걸 수도 있지.
7b 모델 흥미로워 보이네. 36b가 기존의 괜찮은 27b 모델들과 비빌 수 있을지는 잘 모르겠다…
gpt-oss-120b도 여전히 건재한데. 저 리스트에 비슷한 가격대나 더 저렴한 거 뭐 있나?
AA Index가 라벨링을 좀 대충 하긴 하는데, 그래도 최소한 36B랑 375B를 같은 수준의 노력으로 돌릴 정도의 능력은 있어야지.
AA에서 개별 벤치마크를 하나씩 확인해보면 K2가 항상 Qwen 3.8 27B보다 (훨씬) 안 좋아 보이던데, 아마 뭔가 잘못 만든 거 아냐?
몇 주 전에 얘네 나왔을 때 기억을 더듬어보면, 큰 모델들은 꽤 under-trained된 상태임. 전부 22T 토큰으로 학습시켰거든. 그래서 다른 모델들이랑 비교했을 때 작은 모델들이 확실히 더 나은 편임.
스케일이 선형적이지 않아. Qwen 체크포인트로 Minimax M3를 이긴 건 괜찮았지만, 아키텍처의 한계를 보여주는 거지.
스케일이 뭔지는 중요하지 않아. 만약 36B 파라미터로 27B low 모델을 확실히 이길 수 있다면, 파라미터 10배 더 써서 27B high 모델을 이기는 건 일도 아닐 테니까.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
AI를 활용한 '바이브 코딩(vibecoding)'이 소프트웨어 산업과 SaaS 시장에 미칠 영향에 대한 논의입니다.
AI를 활용한 '바이브 코딩(vibecoding)'이 소프트웨어 산업과 SaaS 시장에 미칠 영향에 대한 논의입니다.