r/LocalLLaMA•25일 전•106•40

IFM의 새로운 K2-Horizon-MoVA-36B-A4B 써보신 분 계신가요?

Has anyone already tried IFM's new K2-Horizon-MoVA-36B-A4B?

핵심 요약

IFM의 신규 모델 K2-Horizon-MoVA-36B-A4B에 대한 사용자들의 성능 평가와 기술적 논의가 이어지고 있습니다.

모델 성능 평가 — 기존 MoE 모델들과 비교해 에이전트 코딩 작업에서 준수한 성능을 보임
기술적 특징 — MoVA 아키텍처를 통해 토큰별 KV 캐시 라우팅을 최적화함
벤치마크 주의점 — 터미널 벤치마크는 에이전트 스캐폴드와 재시도 설정에 따라 결과가 크게 달라짐
사용자 경험 — GGUF 배포 요청 및 llama.cpp 컴파일 환경 구축에 대한 논의가 활발함

huggingface.co

원문 사이트로 이동

비슷한 크기의 MoE 모델들이랑 비교하면 성능이 어느 정도임? Qwen 3.6 35BA3B랑 비교하면 어때?

3.8 35B가 없으니까 terminal bench 같은 벤치마크만 보면 업그레이드된 것 같긴 한데, 벤치마크 표에 SWE bench pro는 없네. 그리고 이 연구소에 대해서도 아는 게 하나도 없어서 말이야. tiel coder 같은 모델이랑 비벼볼 만한 수준인지, 아니면 그냥 ornith처럼 벤치마크 점수만 뻥튀기한 모델인지 궁금함.

일단 겉보기엔 꽤 괜찮아 보이는데 아직 제대로 써보진 않았거든. 형들은 이 모델 써보니까 어때?

원문

커뮤니티 목록

r/LocalLLaMA•25일 전•106•40

IFM의 새로운 K2-Horizon-MoVA-36B-A4B 써보신 분 계신가요?

Has anyone already tried IFM's new K2-Horizon-MoVA-36B-A4B?

핵심 요약

IFM의 신규 모델 K2-Horizon-MoVA-36B-A4B에 대한 사용자들의 성능 평가와 기술적 논의가 이어지고 있습니다.

모델 성능 평가 — 기존 MoE 모델들과 비교해 에이전트 코딩 작업에서 준수한 성능을 보임
기술적 특징 — MoVA 아키텍처를 통해 토큰별 KV 캐시 라우팅을 최적화함
벤치마크 주의점 — 터미널 벤치마크는 에이전트 스캐폴드와 재시도 설정에 따라 결과가 크게 달라짐
사용자 경험 — GGUF 배포 요청 및 llama.cpp 컴파일 환경 구축에 대한 논의가 활발함

huggingface.co

원문 사이트로 이동

비슷한 크기의 MoE 모델들이랑 비교하면 성능이 어느 정도임? Qwen 3.6 35BA3B랑 비교하면 어때?

일단 겉보기엔 꽤 괜찮아 보이는데 아직 제대로 써보진 않았거든. 형들은 이 모델 써보니까 어때?

주요 댓글

r/localllama

새로운 모델에 대한 질문과 함께, 이미 관련 정보가 공유된 게시물이 있다는 사실을 확인하는 분위기임.

네, 써봤습니다. 괜찮은 MoE 모델이에요. 3.6-35B-A3B나 Tiel/Ornith 1.5, KAT-Coder-Dev가 성공할 만한 에이전트 코딩 시나리오에서 준수하게 작동합니다. 하지만 우리가 기다리던 3.8-35B-A3B는 아니네요. 아쉽지만요.

장점:

MoVA라는 멋진 새 아이디어를 사용하는데, 이건 밸류(value)에 라우터를 사용해서 KV 캐시에 토큰별 MoE 타입 요소를 추가하는 방식입니다. 솔직히 아직 완전히 이해하려고 노력 중인 개념이긴 해요. 각 토큰이 기여하는 바를 전문화할 수 있게 해주는 것 같은데...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

llama.cpp 컴파일하는 거에 익숙해져야겠네요.

"나를 위해 llama.cpp 컴파일해줘"

CUDA 지원만 되면...

„llama.cpp“ 디렉토리를 만들고 그 안으로 들어가. opencode를 실행하고 llama.cpp(깃허브 URL)를 가져와서 네 실제 하드웨어에 맞춰 컴파일하라고 시켜. 잠시 기다리면 끝이야.

매일 자정에 컴파일되도록 크론탭(cron job)을 설정해두세요!

회귀(regression)를 감수하고 매 업데이트마다 잘 되길 바라는 게 아니라면 끔찍한 생각입니다.

컴파일해 본 적이 없어서요… 크론탭도 안 써봤고요. 배울 게 많네요.

매일 크론탭을 돌리는 건 과하고 비효율적이라고 생각합니다. 대신 에이전트한테 이렇게 시키는 게 낫죠: "내 llama.cpp 설치 상태를 확인하고 업데이트를 도와줄 배시 스크립트를 만들어줘."

원하는 하드웨어를 알려주시면 제 홈브루 탭(https://github.com/Heretek-AI/homebrew-tap)에 추가해 드릴게요.

제안 고마워요. 뭐라고 답해야 할지 모르겠네요... 전 3090 쓰고 있어서 그냥 cuda만 있으면 돼요. 최신 인텔 i9 쓰고 있는데 모델마다 상관있나요?

당신 레포지토리가 컴파일하는 것보단 조금 덜 막막해 보이는데, 그래도 여전히 좀 어렵네요 :) 옵션이 너무 많아서 각각 어디에 쓰이는 건지 바로 이해가 안 가요.