K2-Horizon-MoVA-36B-A4B 모델 써보신 분 계신가요? 사용 사례가 궁금합니다.

MoVA는 캐싱하기 전에 값 전문가(value experts)들을 섞는데, IFM/K2-Horizon은 Qwen3.8-Flash-Next의 12개 레이어와 달리 48개 레이어 전체에 토큰 기록을 유지하고 레이어당 KV도 두 배임. 그래서 메인 KV 저장 공간이 대략 8배 정도 필요함. 32K 컨텍스트에서 K2는 BF16으로 6GB, Q8로 3.2GB가 필요해.

llama.cpp가 그 이상을 보고하는 건지, 아니면 내 KV 크기 추정이 대략 맞는 건지 궁금하네.

이 모델을 써보면서 느낀 비공식적인 관찰 결과로는, K2-Horizon이 흩어져 있는 정확한 세부 의존성을 더 잘 처리하는 것 같아. 예를 들어 코딩 에이전트는...

그 PR 어디서 찾았어? llama.cpp 이슈 뒤져봤는데 못 찾겠던데.

여기 봐봐: https://www.reddit.com/r/LocalLLaMA/comments/1wel0ub/nexn25minimlx4bit_on_apple_m5_max_1336_toks/ 근데 다른 3개 모델이랑 비교하면 딱히 경쟁력이 있는 것 같진 않음.

활성 파라미터 수가 더 높다는 점이 마음에 드네. 한번 써봐야겠어.

이 글은 모델 링크가 없어서 LLM-bench.io 홍보글처럼 보이기도 하네. 만약 작성자가 제작자라면 벤치마크 사이트에서 허깅페이스로 연결되는 링크도 추가하는 게 좋을 듯.

아니, 근데 오일 머니로 자금 지원받은 LLM은 써본 적 없는데 한번 돌려봐야겠네.

무슨 말인지 알려줄래? '오일 머니 자금 지원'이라니? IFM 본사는 서니베일에 있어. 오픈 모델에 전념하는 것 같고, 적어도 마케팅 문구들을 보면 미국에서 오픈 소스 AI를 발전시키려는 것 같던데(단순히 가중치만 공개하는 게 아니라). 내가 뭘 놓친 거지?

내 맥에서 oMLX로 아주 잘 돌아감 (oMLX에 모델 지원 기능 내가 직접 짰음, 물론 출시 4일 만에 내놓으려고 LLM 도움 엄청 받았지). 지금 gpt-oss-120b 대신 데일리 드라이버로 쓰는 중. 더 빠르고, tool calling도 더 낫고, 안정적이고, 아주 열정적인 강아지 같은 에너지임. 지금까지는 아주 만족함. 내 사용 사례가 기본적으로 gpt-oss-120b랑 똑같아서(리서치, 요약, 평가, 서브 에이전트 작업) 그냥 1:1로 교체해서 쓰는 중. 메모리 점유율도 꽤 비슷하고...

며칠 전에 나온 PR로 32b 써봤는데, 괜찮긴 한데 좀 고장 나 있었음. Thinking이 계속 밖으로 새어 나오더라. 같은 빌드가 MoE에도 작동할 거 같긴 한데, 32b가 문제 있었으면 얘도 그럴 거 같아서. 375b용 제대로 된 PR을 기다리고 있는데 아직 안 보이네. GGUF 생성용 브랜치는 있었는데, 추론용으로 딱히 설정된 건 없었음.

32B는 Stage 1 체크포인트밖에 없음. SFT랑 post-training은 아직 덜 익었음. MoVA, 7B, 0.9B는 다 익은 거 같고. 3.7B는 Uno가 없어서 그런지 결과가 비슷하게 섞여서 나옴. 375B는 쓰기 진짜 재밌음. ifm.ai에서 하루에 10M~20M 토큰을 무료로 주거든. 근데 내가 관찰한 바로는 엄청 빠르고 결과물도 빨리 나오긴 하는데, Qwen3.8-Flash-Next보다 "더 게으르고" 자기 생각 과정을 안 보여줌. 375B는 체크포인트가 하나 더 필요한 거 같은데, 근데 뭐…