r/LocalLLaMA•2개월 전•141•48논쟁

Apple M5, 아직 matmul 코어를 제대로 활용하지 못하는 중

Apple M5 isn't making full use of its matmul cores yet

핵심 요약

M5 칩의 INT8 활성화 지원을 활용해 추론 성능을 1.4배 향상시킨 연구 결과 공유.

M5 칩 성능 — INT8 활성화 지원으로 추론 속도 개선 가능함
커널 최적화 — w8a8 커널 구현으로 Gemma4 프리필 성능 1.4배 향상
추론 백엔드 — 현재 MLX 및 Llama.cpp는 이를 제대로 활용하지 못함
향후 전망 — iPhone 17부터 INT8 지원 확대 예정

현재 MLX(및 Mac용 Llama.cpp)는 어디서나 16비트 활성화를 사용하고 있음. 그럼에도 불구하고 M5 세대 실리콘은 실제로 INT8 활성화를 지원함 - 사실 w4a8 d_type을 허용함. 단지 아직 어떤 추론 백엔드도 이걸 사용하지 않고 있을 뿐임.

나는 w8a8 커널을 몇 개 만들었고 Gemma4 프리필 작업에서 1.4배의 속도 향상을 얻어냈음. 내 M5 MacBook Air에서 E2B의 기본 프리필 성능을 기존 2,193 tps에서 130,173 토큰 입력 기준 3,029 tps로 끌어올렸음.

*작은 컨텍스트 길이에서는 훨씬 더 빠름; 거의 10k tps에 근접함.

원문

커뮤니티 목록

r/LocalLLaMA•2개월 전•141•48논쟁

Apple M5, 아직 matmul 코어를 제대로 활용하지 못하는 중

Apple M5 isn't making full use of its matmul cores yet

핵심 요약

M5 칩의 INT8 활성화 지원을 활용해 추론 성능을 1.4배 향상시킨 연구 결과 공유.

M5 칩 성능 — INT8 활성화 지원으로 추론 속도 개선 가능함
커널 최적화 — w8a8 커널 구현으로 Gemma4 프리필 성능 1.4배 향상
추론 백엔드 — 현재 MLX 및 Llama.cpp는 이를 제대로 활용하지 못함
향후 전망 — iPhone 17부터 INT8 지원 확대 예정

*작은 컨텍스트 길이에서는 훨씬 더 빠름; 거의 10k tps에 근접함.

주요 댓글

r/localllama

M5 칩의 INT8 활성화 지원 가능성을 두고 성능 향상에 대한 기대와 양자화 정확도 손실에 대한 기술적 논쟁이 이어지고 있음.

왜냐하면 int8은 정확도 측면에서 꽤 안 좋기 때문임. 활성화(activations)는 모델 가중치와 달라서 첨도가 더 높고, 이걸 int8 표현으로 억지로 구겨 넣으면 충실도가 크게 떨어짐.

맞음, 나도 그래서 smooth quant랑 GPTQ 같은 걸 MLX로 포팅하려고 보는 중임. 근데 웃긴 건, e2b 4bit QAT 체크포인트로 그냥 나이브하게 런타임 양자화를 돌려봤는데... 디코드 시 top-logit 동작이 똑같음. 전체 문장을 디코드해 봤는데 의미론적으로 그냥 똑같았음.

이게 당연히 INT8용으로 훈련된 게 아니라서 직관적으로는 '그냥 작동한다'는 게 말이 안 되니까, 엄청나게 걸러 들어야 한다는 점은 말해두고 싶음. 일부러...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

약간 오글거릴 수 있는데, int8 활성화(프리필 타임에만)로 돌린 e2b가 이 점에 대해 한 말임:

헤이, 일리 있는 지적임. 당신 말이 전적으로 맞음—활성화는 가중치보다 양자화하기가 훨씬 어렵기로 유명하고, 그런 이상치들이 확실히 일을 복잡하게 만들지.

하지만 현재 내 설정에서는 W8A8을 돌리고 있고, 경험적 증거를 보면 현재 그 트레이드오프가 우리에게 유리하게 작용하고 있음. 프리필 속도가 1.4배~1.5배 더 빠르고, 그리디 출력값은 바이트 단위로 동일함...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

대체로 맞는 말임. 하지만 Hadamard 같은 걸 써서 학습 후 처리나 엔진 레벨에서 할 수 있는 것들이 있긴 함.

-11

말도 안 되는 소리. llama.cpp든 vllm/sglang이든 Q8이랑 fp8은 거의 무손실로 간주됨.

-6

DeepSeek는 예전부터 Fp8로 서빙해 왔음. MLA 자체가 이미 압축의 한 형태인데도 말이지.

Q8로 양자화된 KV 캐시도 마찬가지고, KLD/PPL이나 벤치마크 영향은 매우 낮음.

수정: 사람들이 제대로 팩트 체크도 안 하고 계속 공격하면서 비추 박길래 남김. 16페이지랑 18페이지 봐라. DeepSeek-V3 활성화는 2024년부터 Fp8이었음: https://arxiv.org/pdf/2412.19437

Deepseek V4는 실제로 w4a8을 쓰는 걸로 아는데, 라우팅된 전문가(routed experts) 모델에만 씀. (활성 파라미터 중 소수지만, 전체 파라미터 중에서는 다수임.)

W8A8에 대한 문서는 2024년 6월 vllm에 추가됐음: https://github.com/vllm-project/vllm/pull/5388

2년이면 영겁의 시간이지.

DeepSeek V3, DeepSeek R1 이후로 A8 활성화는 DeepSeek 모델과 파생형(Kimi K2, GLM 5.x, 최신 Mistral Large)의 기본값이 됐음 (2025년 2월에 도입된 FP8_BLOCK이라고 함)

*수정: 사람들이 제대로 팩트 체크도 안 하고 계속 공격하면서 비추 박길래 남김. 16페이지랑 18페이지 봐라. DeepSeek-V3 활성화는 2024년부터 Fp8이었음: https://arxiv.org/pdf/2...

또 말하지만, 우리는 지금 활성화에 대해 얘기하는 거지 모델 가중치 얘기하는 게 아님.

구분도 못 하면서 아는 척 끼어드는 거 진짜 이상하네.

W8A8에 대한 문서는 2024년 6월 vllm에 추가됐음: https://github.com/vllm-project/vllm/pull/5388

2년이면 영겁의 시간이지.

DeepSeek V3, DeepSeek R1 이후로 A8 활성화는 DeepSeek 모델과 파생형(Kimi K2, GLM 5.x, 최신 Mistral Large)의 기본값이 됐음.

내가 틀렸네, 인정함. 고맙다.

4비트, 8비트, 16비트, 32비트 등이 쓰일 수 있는 곳이 아주 많다는 걸 분명히 해둘 필요가 있음. 게다가 저장 데이터 타입이랑 연산 데이터 타입이 꼭 같을 필요도 없음. 보통은 즉석에서 역양자화(dequantised)되는 경우가 많음.

q8, fp8 등이 언급된 모델을 볼 때 대부분은 모델 가중치가 그 크기로 저장된 경우임. 파고들어 봐야 알겠지만, 가중치가 q4라고 해도 활성화는 실제로는 보통 f...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

알고 있음.

하지만 대규모 서빙의 경우 가중치, 활성화, 그리고 종종 KV 캐시까지 전부 8비트임. 동적 범위를 위해 Fp8을 쓰긴 하지만, 그게 최고의 총 처리량을 제공하기 때문임. Marlin과 비교해도 역양자화 없이 텐서 코어에 직접 데이터를 넣을 수 있다는 사실이 연산량을 엄청나게 아껴줌 (수백 개의 동시 쿼리를 서빙할 때 병목 구간이 바로 이거임).

비추천 이렇게 많이 받을 내용은 아닌 거 같은데, 대부분의 fp8 모델은 w8a16이 아니라 w8a8임.

글이 좀 짧아서 미안함. 근거 없이 대담한 주장을 하려는 의도는 아니었고, 그냥 내 커널 연구 레포가 아직 정리가 안 됐고 mlx_lm.server에 연결도 안 해놔서 그런 거임. 그래서 사람들이 직접 파고들어서 연결할 생각이 있는 게 아니라면, 아직 원클릭으로 쓸 수 있는 상태는 아님.

원문r/LocalLLaMA