r/LocalLLaMA•14일 전•566•50
GPU 가난뱅이들을 위한 모델. K2 Horizon 7B가 Artificial Analysis 지능 지수에서 Qwen 3.6 27B와 35BA3b 사이의 성능을 보여줌.
For the GPU poor. K2 Horizon 7B ranks between qwen 3.6 27B and qwen 3.6 35BA3b on the Artificial Analysis Intelligence Index.
핵심 요약
K2 Horizon 7B 모델이 뛰어난 성능을 보이지만, 엄청난 KV 캐시 요구량 때문에 저사양 GPU 사용자에게는 적합하지 않다는 반응이 지배적입니다.
- 모델 성능 — 7B 모델임에도 불구하고 대형 모델급의 지능을 보여줌
- KV 캐시 문제 — 128K 토큰 기준 18GiB를 요구하여 저사양 환경에서 사용 불가
- DeepSeek와 대조 — 소형 모델임에도 매우 큰 KV 캐시를 사용하는 독특한 구조
- 사용성 논란 — 공식 llama.cpp 미지원 및 높은 하드웨어 요구 사양으로 인한 접근성 부족
초기 테스트 결과로는 지금까지 꽤 탄탄해 보이네. CUDA용 최신 llama.cpp를 컴파일하라고 시켜봤는데 아주 잘 돌아가는 중이야. 이 녀석이 벤치마크 점수만큼만 버텨준다면, 이 정도 사이즈에선 진짜 충격적일 정도로 성능이 좋은 건데.
