KFlash: Apple Silicon 최적화 엔진 신규 버전 벤치마크 (Kapitsa 0.2 vs Splash 1.4.0 등)
KFlash: Benchmarks of newly released versions of Apple Silicon optimized engines: 1.4.0 Splash (DFlash2 ~ 50 tok/s) vs 0.2 Kapitsa (KFlash ~65 tok/s), MLX(MTP) & more on Qwen 3.8 27b/4b/35b 4Q on Macbook Pro M4 Pro 48 GB 2024, 48GB & Macbook Pro M1 Pro 16GB 2021
핵심 요약
Apple Silicon용 고속 추론 엔진 Kapitsa 0.2와 신규 KFlash 기술이 기존 엔진 대비 압도적인 성능을 보여주며 주목받고 있습니다.
- KFlash 기술 — 트리 기반 추측 디코딩으로 추론 속도 대폭 향상
- 벤치마크 결과 — M4 Pro 환경에서 기존 엔진 대비 약 50% 이상의 성능 우위 입증
- 범용성 확보 — M1부터 M6까지 모든 Apple Silicon 칩셋 지원
- 커뮤니티 반응 — 실제 사용자들로부터 50% 속도 향상 체감 및 긍정적 평가 획득
안녕 얘들아, 나 Ye야. Kapitsa라는 오픈소스 프로젝트를 하고 있는데, 이게 Qwen이랑 Nemotron 모델을 위해 Apple Silicon에 최적화된 개빠른 추론 엔진이거든. 이번 주에 로컬 추론 쪽에서 새 릴리즈가 두 개나 나왔어. 어제 Inco가 Splash 1.4.0을 내놨고, 오늘 우리가 KFlash라고 부르는 새로운 추론 방식(speculative decoding)을 적용한 Kapitsa 0.2를 공개했지. 그래서 다들 실제로 쓰는 맥에서(무슨 128GB M5 Ultra 같은 괴물 말고) 다른 엔진들이랑 성능 비교를 해봤어. 코드는 똑같이 opencode harness 썼다.
https://github.com/nace-ai/kapitsa
KFlash가 뭔데:
요즘 빠른 엔진들은 대부분 작은 draft 모델을 써서 다음 토큰 7개 정도를 미리 예측하고, 큰 모델이 한 번에 검증하는 방식을 쓰거든. DFlash2는 예측 체인 하나만 검증하다가 틀리면 바로 멈추는데, KFlash는 같은 패스 안에서 draft 모델이 내놓은 후보들을 '트리(tree)' 구조로 만들어서 최적의 경로를 먼저 검증해. 그래서 draft 모델이 헷갈려 할 때 차선책까지 같이 검증하는 거지. 자세한 건 여기 https://github.com/nace-ai/kapitsa/blob/main/docs/kflash.md 참고해.
벤치마크 (나도 벤치마크 잘 안 믿고 너희도 믿지 마라. 그냥 네 맥에서 kapitsa bench 돌려봐. 결과 우리 레포에 제출할 수 있으니까 다 같이 여러 기기에서 Kapitsa 성능 확인해보자고.)
512 토큰 코딩 답변 기준 decode tok/s, T 0.6, 5회 측정 중앙값, 4-bit 가중치, 각 엔진 최적 설정 기준:
MacBook Pro M4 Pro (2024), 48GB:
| engine | version | Qwen3.8 27B | Qwen3.6 35B-A3B | Qwen3.5 4B |
|---|---|---|---|---|
| Kapitsa | 0.2 | 63 tok/s KFlash | 161 tok/s KFlash | 201 tok/s KFlash |
