누군가 Qwen의 빠른 프리필(prefill)을 위해 V4.1 플래시의 KV 방식을 어느 정도 재현해낸 듯함

핵심 요약

Qwen 모델의 프리필 속도를 높이는 KV 근사 기술이 공개되어, 이를 다른 모델에도 적용하려는 커뮤니티의 기대가 큼.

• KV 근사 기술 — Qwen 모델의 프리필 속도를 비약적으로 향상시키는 방식이 공개됨
• 커뮤니티 기대감 — 27B 모델 등 다양한 모델에 해당 기술을 적용하길 바라는 반응이 주를 이룸
• 기술적 대안 — Mac 환경에서의 speculative prefill 등 기존 속도 향상 기법과의 결합 가능성이 논의됨
• 공개된 자료 — 블로그, 허깅페이스, 깃허브를 통해 관련 프로젝트 소스 및 데모가 공유됨