qwen4exp : halve the indexer score memory by ServeurpersoCom · Pull Request #29825 · ggml-org/llama.cpp
llama.cpp의 Qwen Flash Next 모델에서 인덱서 점수 메모리 사용량을 절반으로 줄이는 업데이트가 진행되었습니다.
github.com
원문 사이트로 이동
Qwen Flash Next는 이제 VRAM을 덜 처먹음
Qwen Flash Next의 VRAM 사용량 감소에 대해 기술적인 정확성을 논의하거나 프로젝트의 발전 방향을 비꼬는 반응들이 있음.
대박이네! 이 모델은 원래도 컨텍스트 비용이 꽤 저렴했는데.
이 변경 사항들이 다른 Qwen 4 모델들에도 똑같이 적용될 수 있을 거라 생각함.
VRAM 얼마나 줄어듦??
PR에 적힌 내용 그대로 가져옴:
c 131072, ub 2048: 3.0 GiB -> 1.5 GiB
c 131072, ub 4096: 6.1 GiB -> 3.0 GiB
c 262144, ub 4096: 11.7 GiB -> 5.6 GiB
슬슬 다시 ds4 영역으로 기어 올라오네. 난 여전히 비슷한 Q4XL 퀀트 기준으로 ds4에서는 70tps 디코드/1100pp가 나오는데, llama.cpp에서는 50tps/700pp 정도밖에 안 나옴.
왜 디코딩이 더 느려질 것 같은 느낌이 들지?
이거 놓쳤네:
점수는 matmul 연산 순서에 따른 fp32 반올림 차이일 뿐이고, 로짓은 비트 단위로 동일하며, test-llama-archs는 통과했고, pp/tg 속도는 그대로임.
즉, 걔네가 '실수하지 마라'는 말을 까먹은 건 아니라는 거지.
딱 1년만 더 지나고 Strata가 했던 것처럼 걔네들 광대 취급하는 포크가 17개쯤 더 나오면, 그제야 반쯤은 쓸만해질지도 모르겠네.
저사양 카드에서 1.5 GiB는 생각보다 큼. 6GB 카드에서 65k로 gpt-oss-20b 돌릴 때, 1.5 GiB의 KV 캐시 때문에 전문가 레이어 3개가 CPU로 밀려났었음. CPU에서 전문가 연산하는 게 이미 응답 시간의 3분의 2를 잡아먹고 있었고. 모델이랑 버퍼는 다르지만 VRAM 풀은 같으니까, 인덱서 메모리가 절반으로 줄면 레이어 몇 개는 다시 GPU로 올릴 수 있다는 소리임.
(원어민 아님, 영어는 LLM 도움받음)
나도 같은 생각임. PR에는 그냥 절반으로 줄인다고만 되어 있고 내가 알기로는 아직 구체적인 수치는 없음
수치 데이터 있어?
지금 그 커밋 없는 빌드로 테스트 중임. 13개 커밋이 새로 추가된 최신 메인으로 업데이트하기 전에는 10% 정도 감소하는 걸 경험했거든.
범용성 대신 특정 하드웨어와 모델에 최적화된 소형 추론 엔진들이 등장하며 AI 추론 효율을 극대화하는 추세에 대한 논의.
범용성 대신 특정 하드웨어와 모델에 최적화된 소형 추론 엔진들이 등장하며 AI 추론 효율을 극대화하는 추세에 대한 논의.
유출된 하드웨어 사진을 보고 AI 모델의 열악한 구동 환경을 풍자하는 반응들이 이어지고 있습니다.
유출된 하드웨어 사진을 보고 AI 모델의 열악한 구동 환경을 풍자하는 반응들이 이어지고 있습니다.
트럼프의 특정 작명이나 도메인 관련 음모론에 대해 사용자들은 대체로 회의적이고 비판적인 반응을 보임.
트럼프의 특정 작명이나 도메인 관련 음모론에 대해 사용자들은 대체로 회의적이고 비판적인 반응을 보임.