Qwen3.8-27B 모델 카드 예고편 공개!

그래, Qwen 3.6 27b 결과물이 더 마음에 들긴 하는데, glimmer는 48gb에서 8비트 가중치, 16비트 캐시로 130k 레인을 6~8개 정도 동시에 돌릴 수 있어. 내 연구실에서 Qwen 3.6 27b랑 deepseek v4 flash 0731을 지원하기엔 아주 훌륭한 에이전트 모델이지. 난 셋 다 쓰는데 dsv4f는 내 '빅 브레인'이고, qwen은 기본 모델, muse는 실무용으로 굴려.

저커버그가 메타를 대형 모델과 소형 모델 모두에서 다른 선택지들보다 확실한 이점을 가진 위치로 올려놓은 건 정말 대단한 컴백 스토리야.

그 특별한 혜택들이 뭔데?

Glimmer는 KV cache 메모리 요구량이 엄청 적음. 128k F16 기준으로 1.7GB나 1.8GB 정도 수준임.

dflash가 있어서 mtp만큼 빠르진 않지만, 같은 프롬프트(계산기 앱을 단일 html 파일로 만들기)로 비과학적인 간단 테스트를 해본 결과 토큰 출력량은 이래:

Muse: 2,173 토큰, 50.00 t/s, 43초
Qwen: 6,227 토큰, 97.99 t/s, 1분 3초

왼쪽이 Muse, 오른쪽이 Qwen이야. 둘 다 잘 작동하는데 Qwen이 좀 더 나아 보이고 상호작용 애니메이션도 더 많네…

그럴지도? 하지만 실제 소요 시간(wall time) 관점에서 보면, 모델이 조금 더 빠르더라도 사고 과정이 훨씬 길면 결국 더 느려질걸.

맞아, 최근에 내 프롬프트들로 벤치마킹 좀 해봤는데 muse glimmer, qwen 27B, Gemma 26BA4B가 내 벤치마크 중 하나에서 결국 똑같은 시간(~27초)이 걸려서 깜짝 놀랐어. 진짜 TPS가 전부가 되면 안 돼.

아 나는 보통 thinking 끄고 Qwen 씀.

아, 그러면 확실히 다르겠네. 나도 MTP 나오기 전엔 그렇게 했었음.