Telperion의 신규 모델: Qwen3.8-27B-MLA & Qwen3.8-27B-GLA-g2. 4배 더 작은 KV 캐시, 더 똑똑하고 효율적인 추론.
New model from Telperion: Qwen3.8-27B-MLA & Qwen3.8-27B-GLA-g2. 4x smaller KV cache, smarter, and more efficient reasoning.
핵심 요약
Telperion이 KV 캐시를 4배 압축하여 컨텍스트 용량을 대폭 늘린 Qwen3.8-27B 기반의 잠재 어텐션 모델들을 공개했습니다.
- KV 캐시 압축 — 기존 대비 4배 압축으로 소비자용 하드웨어에서 컨텍스트 용량 대폭 확대
- 성능 향상 — MLA 변형 모델은 SWE 벤치마크 성능 6.58% 향상 및 추론 토큰 20% 절감
- vLLM 플러그인 — 전용 플러그인을 통해 쉽게 설치 및 사용 가능
- 오픈 소스 계획 — 재학습이 필요 없는 범용적인 잠재 어텐션 방식 곧 공개 예정
안녕! 우리 Telperion 팀은 그동안 실험적인 연구들 하느라 정신없이 바빴어(조만간 더 많은 소식 들고 올게). 오늘은 Qwen3.8-27B의 latent attention variants를 공개하려고 해.
우리가 만든 latent attention 변형 모델들(FP8 KV 캐시로 보정된 퀀트 모델)은 KV 캐시를 4배로 압축해 줘. 덕분에 일반 소비자용 하드웨어에서는 최대 컨텍스트 길이를 거의 4배까지 늘릴 수 있고, 서버급 하드웨어에서는 동시 처리량을 거의 4배까지 끌어올릴 수 있지. 이 모델들은 성능도 끝내주는데, MLA 변형 모델의 경우 SWE 성능이 통계적으로 유의미하게 6.58%나 올랐고, 추론 토큰도 20% 이상 덜 먹어.
멀티 GPU 환경에서 MLA를 돌릴 때 메모리 문제가 좀 있어서, 그룹 2개짜리 grouped latent 변형 모델도 만들었어. 덕분에 듀얼 GPU 쓰는 사람들도 4배 KV 압축 효과를 누릴 수 있지.
| Model | SWE-bench Verified (zero-shot, toolless, n > 1500) | Mean Output Tokens | KV Compression (TP = 1, TP = 2) |
|---|---|---|---|
| Qwen3.8-27B | 39.5% | — | — |
| Qwen3.8-27B-MLA | 42.1% | 0.88× | 4.00×, 2.28× |
| Qwen3.8-27B-GLA-g2 | 39.4% | 0.86× | 4.00×, 4.00× |
우리가 포스트 트레이닝 퀀타이제이션(post-training quantization) 레시피를 기가 막히게 뽑아냈거든. 그래서 기존 .gguf 퀀트 모델들보다 훨씬 정밀도가 높은 퀀트 버전들을 만들어냈어. 우리 모델들은 설치하기 쉬운 vLLM 플러그인도 지원해.
| Quant | Memory (including MTP head and vision encoder) | Increase in top-1 disagreement (lower is better) |
|---|---|---|
| BF16 | 55.7GB | — |
| FP8 | 31.5GB | 0.06% |
| INT4 | 22.9GB | 0.17% |
| EXL3-4.0bwp* | 17.2GB | 0.46% |
*EXL3를 돌리려면 커스텀 vLLM 플러그인이 필요해.
