r/LocalLLaMA•약 4시간 전•16•6

CUDA: llama.cpp의 MMQ에서 FFN 게이트/업 행렬 곱셈과 GLU 융합 (PR #29948)

CUDA: fuse FFN gate/up matmuls and GLU in MMQ with interleaved gate/up rows by anujj · Pull Request #29948 · ggml-org/llama.cpp

핵심 요약

llama.cpp의 새로운 CUDA 최적화 PR로 인해 다양한 모델에서 최대 10% 이상의 성능 향상이 확인되었습니다.

성능 최적화 — FFN 게이트/업 행렬 곱셈과 GLU를 융합하여 추론 속도 개선
벤치마크 결과 — DGX Spark 및 RTX 5090 환경에서 모델별로 2~10% 속도 향상
하드웨어 지원 — NVIDIA Turing 아키텍처 이상에서 최적화 기능 지원

github.com

원문 사이트로 이동

time to download some speedup

DGX Spark (GB10), llama-bench -ngl 999 -fa on -p 16384 -n 0 -b 2048 -ub 2048 -ctk f16 -ctv f16 -r 5, tok/s:

model	type	master	PR
Qwen3.8-27B	Q4_K_M	840.1	899.9	+7.1%
	Q5_K_M	840.1	880.6	+4.8%
	Q6_K	751.2	785.8	+4.6%
	Q8_0	876.2	940.1	+7.3%
	IQ4_XS	882.4	948.0	+7.4%
Qwen3.6-27B	Q4_K_M	816.6	865.6	+6.0%
	Q5_K_M	800.0	851.1	+6.4%
	Q6_K	720.8	770.4	+6.9%
	Q8_0	876.9	940.2	+7.2%
	IQ4_XS	882.2	948.5	+7.5%
Llama-3.1-8B	Q4_K_M	2749.3	3000.6	+9.1%
	Q5_K_M	2699.4	2960.3	+9.7%
	Q6_K	2392.2	2616.0	+9.4%
	IQ4_XS	2933.9	3249.0	+10.7%

RTX 5090, llama-bench -ngl 999 -fa on -p 16384 -n 0 -b 2048 -ub 2048 -ctk f16 -ctv f16 -r 5, tok/s:

원문

커뮤니티 목록

r/LocalLLaMA•약 4시간 전•16•6

CUDA: llama.cpp의 MMQ에서 FFN 게이트/업 행렬 곱셈과 GLU 융합 (PR #29948)

CUDA: fuse FFN gate/up matmuls and GLU in MMQ with interleaved gate/up rows by anujj · Pull Request #29948 · ggml-org/llama.cpp

핵심 요약

llama.cpp의 새로운 CUDA 최적화 PR로 인해 다양한 모델에서 최대 10% 이상의 성능 향상이 확인되었습니다.

성능 최적화 — FFN 게이트/업 행렬 곱셈과 GLU를 융합하여 추론 속도 개선
벤치마크 결과 — DGX Spark 및 RTX 5090 환경에서 모델별로 2~10% 속도 향상
하드웨어 지원 — NVIDIA Turing 아키텍처 이상에서 최적화 기능 지원

github.com

원문 사이트로 이동

time to download some speedup

DGX Spark (GB10), llama-bench -ngl 999 -fa on -p 16384 -n 0 -b 2048 -ub 2048 -ctk f16 -ctv f16 -r 5, tok/s:

model	type	master	PR
Qwen3.8-27B	Q4_K_M	840.1	899.9	+7.1%
	Q5_K_M	840.1	880.6	+4.8%
	Q6_K	751.2	785.8	+4.6%
	Q8_0	876.2	940.1	+7.3%
	IQ4_XS	882.4	948.0	+7.4%
Qwen3.6-27B	Q4_K_M	816.6	865.6	+6.0%
	Q5_K_M	800.0	851.1	+6.4%
	Q6_K	720.8	770.4	+6.9%
	Q8_0	876.9	940.2	+7.2%
	IQ4_XS	882.2	948.5	+7.5%
Llama-3.1-8B	Q4_K_M	2749.3	3000.6	+9.1%
	Q5_K_M	2699.4	2960.3	+9.7%
	Q6_K	2392.2	2616.0	+9.4%
	IQ4_XS	2933.9	3249.0	+10.7%

RTX 5090, llama-bench -ngl 999 -fa on -p 16384 -n 0 -b 2048 -ub 2048 -ctk f16 -ctv f16 -r 5, tok/s:

지금 같이 볼 만한 글

r/LocalLLaMA•1일 전

Meta, 토큰 대신 원시 바이트를 읽는 소형 AI 모델을 학습시키다. 초기 성능은 낮지만, 논문은 결국 더 나은 성능을 낼 것으로 예측함

Meta가 토큰화 과정 없이 바이트 단위로 학습하는 모델을 연구 중이며, 초기 성능은 낮지만 장기적으로는 기존 모델을 능가할 가능성을 제시했습니다.

Meta trained small AI models to read raw bytes instead of tokens. They start out worse, but the paper predicts they end up better

Meta가 토큰화 과정 없이 바이트 단위로 학습하는 모델을 연구 중이며, 초기 성능은 낮지만 장기적으로는 기존 모델을 능가할 가능성을 제시했습니다.

451134논쟁

Reddit 원문

r/ClaudeCode•약 22시간 전

CLAUDE.md에 추가해서 가장 큰 효과를 본 한 줄은 무엇인가요?

CLAUDE.md에 추가하여 Claude의 작업 효율과 정확도를 높인 유용한 프롬프트 규칙들을 공유하는 글입니다.

642147

Reddit 원문

r/ClaudeAI•약 13시간 전

Claude가 패혈성 쇼크로부터 나를 구해주었어.

갑작스러운 요로감염 증상으로 혼란을 겪던 작성자가 Claude의 조언 덕분에 응급실을 찾아 패혈성 쇼크를 면한 사연입니다.

56561논쟁

Reddit 원문

커뮤니티 전체 보기

원문

model	type	master	PR
Qwen3.8-27B	Q4_K_M	3688.4	3790.9	+2.8%
	Q5_K_M	3589.5	3659.6	+2.0%
	Q6_K	3220.5	3281.0	+1.9%
	Q8_0	3617.3	3766.9	+4.1%
	IQ4_XS	3796.2	3926.8	+3.4%
Qwen3.6-27B	Q4_K_M	3567.9	3660.3	+2.6%
	Q5_K_M	3429.8	3525.3	+2.8%
	Q6_K	3105.2	3187.8	+2.7%
	Q8_0	3628.7	3788.4	+4.4%
	IQ4_XS	3785.6	3915.4	+3.4%
Llama-3.1-8B	Q4_K_M	12071.5	12625.9	+4.6%
	Q5_K_M	11823.0	12297.3	+4.0%
	Q6_K	10513.1	10928.6	+4.0%
	IQ4_XS	12997.6	13603.3	+4.7%

주요 댓글

r/localllama

이번 최적화가 프롬프트 처리 속도 향상에는 효과적이지만 디코드 단계에서는 제한적이라는 기술적 분석과, CUDA 위주의 개선에 대한 아쉬움이 공존함.

2026년에 GTX 1080 쓰는 나: 🥳🥳🥳

수정:

NVIDIA Turing 아키텍처 이상에서 Q4_K, Q5_K, Q6_K, Q8_0, IQ4_XS 지원; SWIGLU, GEGLU, SWIGLU_OAI, SWIGLU_CLAMP.

😭😭😭

AMD 카드 쓰는 나 :(((

맞아, 좋은 개선 사항들은 전부 CUDA 전용이네... 으윽

가격 저렴할 때 3060으로 바꾸는 거 추천함

이 표는 프리필(prefill) 수치인데, 이걸 일반화해서는 안 된다고 봄.

모든 행이 -n 0과 -p 16384 옵션을 사용한 llama-bench 결과니까, 프롬프트 처리(prompt processing)만 해당함. 퓨전(fusion)이 도움이 되는 이유는 게이트(gate)와 업(up)이 동일한 활성화 함수에 대해 두 번의 메모리 접근을 수행하는데, 이걸 하나의 MMQ로 처리하면 GLU 이전에 트래픽을 줄여주기 때문임. 디코드(decode)는 보통 토큰당 가중치를 한 번 읽는 것에 의해 제한되는데, 이번 변경 사항은 그 가중치 크기를 줄이지는 않음. 긴 대화라면 Spark에서 7%, 5090에서 2~4% 정도의 성능 향상이 프롬프트 입력 시점에 나타나겠지만, 생성이 시작되면 tok/s에서 사라질 거임. 벤치마크를 돌린다면 pp(프롬프트 처리)와 tg(토큰 생성)를 분리해야 함. 단순히 "tok/s" 수치만 보면 뭐가 변했는지 알 수 없음.

다른 제한 사항은 이미 퀀트(quant) 목록에 있음. Q4_K, Q5_K, Q6_K, Q8_0, IQ4_XS, 그리고 SWIGLU 계열 활성화 함수만 해당하며, 튜링(Turing) 아키텍처 이후 카드에서만 작동함. 더 오래된 카드나 FFN이 GLU가 아닌 모델은 기존의 퓨전되지 않은 경로를 그대로 타기 때문에 이번 변경으로 인한 차이를 전혀 체감할 수 없을 거임.

Spark와 5090의 격차도 이 설명과 맞아떨어짐. GB10은 추가적인 메모리 트래픽에 의해 병목이 생기기 쉬워서, 두 번째 matmul 실행을 제거하는 게 이미 대역폭이 충분한 5090보다 더 큰 이득을 줌. 5090의 디코드 성능이 7% 향상됐다고 말하는 건 무리가 있음.

원문r/LocalLLaMA

주요 댓글

r/localllama

2026년에 GTX 1080 쓰는 나: 🥳🥳🥳

수정:

NVIDIA Turing 아키텍처 이상에서 Q4_K, Q5_K, Q6_K, Q8_0, IQ4_XS 지원; SWIGLU, GEGLU, SWIGLU_OAI, SWIGLU_CLAMP.

😭😭😭

AMD 카드 쓰는 나 :(((

맞아, 좋은 개선 사항들은 전부 CUDA 전용이네... 으윽

가격 저렴할 때 3060으로 바꾸는 거 추천함

이 표는 프리필(prefill) 수치인데, 이걸 일반화해서는 안 된다고 봄.

원문r/LocalLLaMA