r/LocalLLaMA•4개월 전•104•77

Strix Halo 사용자 필독, 거절된 PR로 MoE 모델 PP 속도 최대 30% 향상 가능

Strix Halo users, a rejected PR can give you up to 30% faster PP for MOEs.

핵심 요약

AMD Strix Halo에서 MoE 모델의 prefill 속도를 최대 30% 높여주는 llama.cpp 패치 공유 및 성능 논쟁.

성능 향상 — 거절된 PR 적용 시 MoE 모델의 prefill(PP) 속도가 최대 30%까지 빨라짐.
메인테이너 논란 — 코드 품질 유지를 이유로 PR을 거절한 메인테이너의 태도와 기술적 판단에 대한 갑론을박.
ROCm vs Vulkan — Strix Halo 환경에서 ROCm의 PP 강점과 Vulkan의 TG 강점에 대한 벤치마크 비교.
조건부 최적화 — 낮은 컨텍스트에서 효과가 가장 크며 컨텍스트가 길어질수록 이득이 감소함.

pedapudi가 올린 PR입니다.

https://github.com/ggml-org/llama.cpp/pull/21344

머지 요청이 거절되어서 메인라인 llama.cpp에는 들어가지 않을 예정입니다. 변경 사항이 아주 작아서 저는 그냥 현재 릴리스 버전의 llama.cpp에 직접 적용해서 쓰고 있습니다.

자세한 정보는 PR을 읽어보세요. MoE 모델에서만 작동합니다. 또한 낮은 컨텍스트에서 성능 향상이 가장 큽니다. 컨텍스트가 길어질수록 이득은 줄어듭니다. pedapudi가 PR에서 왜 그런 현상이 발생하는지 설명해 줍니다.

여기 수치들이 있습니다. 정말 잘 작동해요. 현재 릴리스 버전의 llama.cpp에 코드를 적용하는 데 드는 아주 짧은 시간은 충분히 가치 있는 투자입니다.

main

ggml_cuda_init: found 1 ROCm devices (Total VRAM: 128000 MiB):
      Device 0: AMD Radeon Graphics, gfx1151 (0x1151), VMM: no, Wave Size: 32, VRAM: 128000 MiB
    | model                          |       size |     params | backend    | ngl | mmap |            test |                  t/s |
    | ------------------------------ | ---------: | ---------: | ---------- | --: | ---: | --------------: | -------------------: |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |           pp512 |       1106.11 ± 8.60 |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d10000 |        755.79 ± 2.58 |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d20000 |        587.61 ± 1.52 |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d40000 |        415.09 ± 2.45 |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB

ggml_cuda_init: found 1 ROCm devices (Total VRAM: 128000 MiB):
      Device 0: AMD Radeon Graphics, gfx1151 (0x1151), VMM: no, Wave Size: 32, VRAM: 128000 MiB
    | model                          |       size |     params | backend    | ngl | mmap |            test |                  t/s |                  |
    | ------------------------------ | ---------: | ---------: | ---------- | --: | ---: | --------------: | -------------------: | ---------------- |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |           pp512 |       1447.62 ± 7.10 | **+31%**         |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d10000 |        905.60 ± 3.53 | **+20%**         |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d20000 |        685.23 ± 3.03 | **+16%**         |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d40000 |        459.42 ± 2.70 | **+11%**         |
    | qwen35m

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•104•77

Strix Halo 사용자 필독, 거절된 PR로 MoE 모델 PP 속도 최대 30% 향상 가능

Strix Halo users, a rejected PR can give you up to 30% faster PP for MOEs.

핵심 요약

AMD Strix Halo에서 MoE 모델의 prefill 속도를 최대 30% 높여주는 llama.cpp 패치 공유 및 성능 논쟁.

성능 향상 — 거절된 PR 적용 시 MoE 모델의 prefill(PP) 속도가 최대 30%까지 빨라짐.
메인테이너 논란 — 코드 품질 유지를 이유로 PR을 거절한 메인테이너의 태도와 기술적 판단에 대한 갑론을박.
ROCm vs Vulkan — Strix Halo 환경에서 ROCm의 PP 강점과 Vulkan의 TG 강점에 대한 벤치마크 비교.
조건부 최적화 — 낮은 컨텍스트에서 효과가 가장 크며 컨텍스트가 길어질수록 이득이 감소함.

pedapudi가 올린 PR입니다.

https://github.com/ggml-org/llama.cpp/pull/21344

여기 수치들이 있습니다. 정말 잘 작동해요. 현재 릴리스 버전의 llama.cpp에 코드를 적용하는 데 드는 아주 짧은 시간은 충분히 가치 있는 투자입니다.

main

ggml_cuda_init: found 1 ROCm devices (Total VRAM: 128000 MiB):
      Device 0: AMD Radeon Graphics, gfx1151 (0x1151), VMM: no, Wave Size: 32, VRAM: 128000 MiB
    | model                          |       size |     params | backend    | ngl | mmap |            test |                  t/s |
    | ------------------------------ | ---------: | ---------: | ---------- | --: | ---: | --------------: | -------------------: |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |           pp512 |       1106.11 ± 8.60 |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d10000 |        755.79 ± 2.58 |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d20000 |        587.61 ± 1.52 |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d40000 |        415.09 ± 2.45 |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB

ggml_cuda_init: found 1 ROCm devices (Total VRAM: 128000 MiB):
      Device 0: AMD Radeon Graphics, gfx1151 (0x1151), VMM: no, Wave Size: 32, VRAM: 128000 MiB
    | model                          |       size |     params | backend    | ngl | mmap |            test |                  t/s |                  |
    | ------------------------------ | ---------: | ---------: | ---------- | --: | ---: | --------------: | -------------------: | ---------------- |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |           pp512 |       1447.62 ± 7.10 | **+31%**         |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d10000 |        905.60 ± 3.53 | **+20%**         |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d20000 |        685.23 ± 3.03 | **+16%**         |
    | qwen35moe 35B.A3B Q4_K - Small |  19.45 GiB |    34.66 B | ROCm       |  99 |    0 |  pp512 @ d40000 |        459.42 ± 2.70 | **+11%**         |
    | qwen35m

지금 같이 볼 만한 글

r/LocalLLaMA•약 7시간 전

드디어 내 하드웨어로 풀 정밀도 구동이 가능한 모델을 찾았다: 바로 나

사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.

Finally found a model my hardware can run at full precision: me

사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.

818101

Reddit 원문

r/GeminiAI•약 11시간 전

공지: Google AI Plus에서 더 이상 Pro 모델을 사용할 수 없게 됨

Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.

PSA: Google AI Plus will no longer have access to Pro models

Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.

472175논쟁

Reddit 원문

r/OpenAI•2일 전

GPT6-Luna, '강아지 살해 벤치마크'에서 1위 차지.

AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.

GPT6-Luna comes out on top in Puppy Kill Bench.

AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.

1562113

Reddit 원문

커뮤니티 전체 보기

원문

주요 댓글

r/localllama

Strix Halo 사용자들이 해당 PR의 성능 향상을 긍정적으로 평가하면서도, 기존 MTP 변형과의 호환성 문제나 특정 팀에 대한 언급을 나누고 있습니다.

203

Johannes가 PR을 처리한 방식에 대해 논란이 있는 것 같은데, 이걸 개인적인 문제로 몰아가지 말아달라. 내 PR(21160)도 메인에 머지되지 않고 있고, 앞으로도 그럴 가능성이 높다. 메인테이너들은 코드 오버헤드 관리와 이득이 크지 않다는 이유로 거부하는 것뿐이다. 논의 끝에 내린 결론이 그거다.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

PR 논란에 대한 반응 중 가장 합리적인 답변이네.

Llama.cpp는 규모가 엄청 큰 프로젝트야. 유지보수가 불가능할 정도로 복잡해지니까 특정 최적화들은 메인 브랜치에 절대 포함될 수 없는 거지. 그래서 DS4 같은 파생 프로젝트들이 있는 거고. 이건 아마 Lemonade 프로젝트 쪽으로 가는 게 맞을 듯.

그의 태도에 대한 논의와 PR이 기술적으로 맞다는 사실은 별개의 문제인데, 첫 문장에서 마치 사람들이 이걸 혼동하는 것처럼 말하네.

내 PR 스레드에서 토론한 거 읽어봐 😄 내 말은, 그 사람이 일부러 무례하게 구는 게 아니라 그냥 아주 기술적이고 사실 위주로 소통하는 것뿐이라는 거야. PR이 나쁘다거나 사용자들에게 이득이 없다고 말하는 게 아니라, '나쁜 케이스'와 '좋은 케이스'를 구분하는 데 필요한 코드가 없어서 지금 당장은 합칠 방법이 없다는 걸 말하는 것뿐이야.

솔직히 사람들이 왜 불평하는지 모르겠음. 난 거기서 무례함 같은 거 전혀 못 느꼈는데.

핵심만 찌르는 소통 방식에 문제가 없다는 건 동의해. Johannes가 PR을 합칠 수 없다고 한 논리도 완전히 타당하고. 하지만 내 생각엔 오픈소스가 협업으로 만들어지는 이상, 인간적인 면도 중요하다고 봐. 최소한 노력에 대한 짧은 인정 정도는 해줬어야지(다른 PR들은 그냥 느낌대로 대충 올라오는 경우도 많은데 말이야). 그리고 pedapudi가 대화 내내 얼마나 예의 바르게 굴었는지 생각하면 그에 대한 화답도 좀 있었어야 했고. 소통 방식이 마치 시니어 개발자가 가르치려는 듯한 느낌이었어.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

좋은 지적이야. 소통이 좀 퉁명스럽게 느껴질 수 있었다는 점은 나도 동의해. 그래서 내가 여기서 상황을 설명하려는 거고. 내 생각엔 Johannes가 전달하려던 결과 자체가 오픈소스 프로젝트의 자원 한계 때문에 어쩔 수 없이 불쾌한 내용이라서 그런 것 같아. PR을 올리면 그냥 받아들여질 때도 있고, 그건 좋은 일이지. 좀 더 수정하라는 말을 들을 때도 있고, 그것도 괜찮아. 가끔은...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

그리고 또 하나, 긍정적인 신호를 주는 게 물론 좋고 격려가 되는 소통 방식일 순 있지만, 이런 경우엔 오히려 독이 될 수도 있어. 헛된 희망을 주거든. 메인테이너 입장에서는 계속 긍정적인 피드백 주면서 말 바꾸기만 하다가 결국 합쳐주지도 않는 것보다, 그냥 '이건 합칠 수 없다'고 딱 잘라 말하는 게 나을 때도 있는 거야.

무슨 태도? 그냥 네가 너무 과하게 의미 부여하는 거 아님?

이거 rock, lemonade, strix halo 커뮤니티에도 올려봐. 거긴 이미 strix halo 빌드용으로 커스텀 패치들 돌리고 있거든.

동감. Lemonade 팀 진짜 괜찮음. 작지만 집중력 있고 친절함.

엔진이 워크로드 분할 파라미터를 벤치마킹해서 최적의 결과를 찾아내고, 그걸 설정값으로 적용하는 튜닝 기능이 있으면 좋겠어. vllm도 시작할 때 성능 테스트하는 단계가 있는 것 같던데.

이 PR 흥미롭네. 좀 더 써보면서 확실한지 확인해봐야겠어. mtp-bench, rocm 7.13, 122B Q6로 간단히 테스트해봤는데 결과가 괜찮았어. 내가 최적이라고 생각했던 설정으로 빌드한 첫 번째 테이블은 이거야: -DGGML_HIP=ON -DGGML_HIP_ROCWMMA_FATTN=OFF -DGGML_HIP_MMQ_MFMA=OFF -DGGML_CUDA_FORCE_CUBLAS=ON -DAMDGPU_TARGETS=gfx1151. 처음엔 좀 별로였는데 PR 설정대로 빌드 수정하니까 꽤 좋은 결과가 나왔어.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

이미 MTP 변형을 사용 중이라면 아쉽게도 이 방식과는 잘 맞지 않네요: https://sleepingrobots.com/dreams/pr21344-moe-kernels-strix-halo/

원문r/LocalLLaMA

주요 댓글

r/localllama

Strix Halo 사용자들이 해당 PR의 성능 향상을 긍정적으로 평가하면서도, 기존 MTP 변형과의 호환성 문제나 특정 팀에 대한 언급을 나누고 있습니다.

203

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

PR 논란에 대한 반응 중 가장 합리적인 답변이네.

그의 태도에 대한 논의와 PR이 기술적으로 맞다는 사실은 별개의 문제인데, 첫 문장에서 마치 사람들이 이걸 혼동하는 것처럼 말하네.

솔직히 사람들이 왜 불평하는지 모르겠음. 난 거기서 무례함 같은 거 전혀 못 느꼈는데.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

무슨 태도? 그냥 네가 너무 과하게 의미 부여하는 거 아님?

이거 rock, lemonade, strix halo 커뮤니티에도 올려봐. 거긴 이미 strix halo 빌드용으로 커스텀 패치들 돌리고 있거든.

동감. Lemonade 팀 진짜 괜찮음. 작지만 집중력 있고 친절함.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

이미 MTP 변형을 사용 중이라면 아쉽게도 이 방식과는 잘 맞지 않네요: https://sleepingrobots.com/dreams/pr21344-moe-kernels-strix-halo/

원문r/LocalLLaMA