초장문 컨텍스트를 위한 새로운 희소 어텐션(sparse attention) 방식

여기서 흔히 발생하는 '과대광고 후 파괴' 사이클을 피하고, 실제 로컬 사용을 위한 수치를 좀 줄 수 있음? 사람들이 논문이나 레포도 안 읽고 대충 구현했다가 실망해서 '이거 쓰레기네, 사기꾼이네'라고 불평할까 봐 하는 말임 (r/LocalLLaMA에 온 걸 환영함)

Qwen 3.8-27B @ Q4 + Q8 K/V 캐시가 llama.cpp/VLLM 배포에서 사람들이 제일 많이 쓰는 방식임.

KV 캐시를 bf16으로 강제하면 전체 메모리 사용량이 KVCache 때문에 두 배가 될 텐데 (당신 기술이 bf16에서도 전반적으로 좀 더 저렴해 보이긴 하지만).

응 - 비록 작은 규모(0.5B 모델)에서만 했지만 - 앞으로 몇 주/몇 달 안에 규모를 키워서 몇 가지 아키텍처 트릭을 더 시도해볼 생각임

학습 코드는 레포에 있고 논문에 세부 내용(데이터셋 구축 스크립트 포함)도 다 있으니 = 전부 재현 가능할 거임

진짜 멋지다! 여기서 이런 연구를 볼 수 있어서 좋네. 이게 더 크거나 작은 모델로 일반화될 수 있을지, 아니면 추론 엔진에 간단하게 구현될 수 있을지 궁금함.

내가 보기에 문제는 10M 토큰 학습이 여전히 진입 장벽이 꽤 높다는 거임. 이런 제약 때문에 기존 모델을 변환하는 수준에서는 유행하기 힘들 수도 있겠다는 생각이 듦.

우리 방식은 둘 다 작동함:

• Qwen 3.8 27B (풀 어텐션 / 더 작은 모델)
• GLM-5.3-Flash (희소 어텐션 / 더 큰 모델)

추론 엔진 구현에 관해서는 - SGLang용 코드를 제공하고 있고, 우리 평가도 전부 추론 엔진에서 수행했음(텐서 및 컨텍스트 병렬 처리 지원도 포함!)

와 누가 당장 Qwen next에 이거 좀 적용해봐