r/LocalLLaMA•약 3시간 전•68•16
Qwen4-27B의 4-way HC 전환?
Qwen4-27B's 4-way HC shift?
핵심 요약
Qwen4-27B에 적용된 4-way 병렬 잔차 스트림 구조와 그 성능 향상 가능성에 대한 논의입니다.
- 아키텍처 변화 — 27B 파라미터 내에서 정보 흐름을 최적화하는 4-way 병렬 잔차 스트림 도입
- 성능 기대치 — 추론 능력과 코딩, 논리적 일관성에서 비약적인 발전 예상
- 기술적 쟁점 — VRAM 사용량보다는 메모리 대역폭과 처리량이 병목 현상의 핵심으로 지목됨
- 기존 기술 비교 — QSA, GDN, HC 등 기존 아키텍처와의 유사성 및 차이점 논의
오늘 vllm-xpu-kernels에서 PR 하나를 봤는데, Qwen4-27B의 아키텍처가 크게 바뀌었다는 내용이 있더라고. 근데 지금 들어가 보니까 404 에러 뜨면서 페이지가 사라졌네?
보아하니 27B라는 고정된 파라미터 예산 안에서 정보 흐름이랑 표현 밀도를 높이려고 4-way 병렬 레지듀얼 스트림(residual stream)을 쓴 것 같음.
(그러니까 레지듀얼 경로를 하나만 쓰는 게 아니라, 4개의 병렬 스트림을 레이어에 동시에 흘려서 파라미터당 성능을 극한으로 뽑아내는 방식임. 27B급에선 이게 최고지.) QSA? 27B 같은 작은 모델에선 별로 쓸모없을 듯.
어쨌든 난 플래시 MoE 버전보다 27B 모델이 더 기대됨.
만약 유효 깊이(effective depth)가 늘어난 거라면, 다단계 추론이나 코딩, 그리고 추론 일관성 면에서 엄청난 도약이 있을 것 같음.
(더 자세한 내용은 https://udanax.org/blog/edward-j-yoon/qwen4-27b-trading-ffn-capacity-for-a-more-expressi 여기 참고해라.)
