r/LocalLLaMA•2개월 전•57•13

model: openPangu-2.0-Flash (92B-A6B) 추가 - MLA-latent 캐시, DSA/SWA, mHC 및 멀티 헤드 MTP 지원 (joelfarthing의 ik_llama.cpp PR #2065)

model: add openPangu-2.0-Flash (92B-A6B) with MLA-latent cache, DSA/SWA, mHC, and multi-head MTP by joelfarthing · Pull Request #2065 · ikawrakow/ik_llama.cpp

핵심 요약

ik_llama.cpp에 openPangu-2.0-Flash 모델 지원이 추가되었으며, 사용자들은 모델의 성능과 효율성에 대해 논의 중입니다.

모델 지원 — openPangu-2.0-Flash 92B 모델이 ik_llama.cpp에 추가됨
기술적 특징 — MLA-latent 캐시, DSA/SWA, mHC 및 멀티 헤드 MTP 적용
사용자 반응 — 모델 성능과 구현 안정성에 대한 의문 제기됨
향후 전망 — 500B 모델 지원을 위한 사전 단계로서의 가치 평가

github.com

원문 사이트로 이동

[블록 1/3] openPangu-2.0-Flash - 92B A6B & 512K 컨텍스트 길이

[블록 2/3] 모델 : https://huggingface.co/openpangu/openPangu-2.0-Flash/blob/main/README_EN.md

[블록 3/3] ik_llama 사용자를 위한 GGUF : https://huggingface.co/ji-farthing/openPangu-2.0-Flash-ik-llama-GGUF

원문

커뮤니티 목록

r/LocalLLaMA•2개월 전•57•13

model: openPangu-2.0-Flash (92B-A6B) 추가 - MLA-latent 캐시, DSA/SWA, mHC 및 멀티 헤드 MTP 지원 (joelfarthing의 ik_llama.cpp PR #2065)

model: add openPangu-2.0-Flash (92B-A6B) with MLA-latent cache, DSA/SWA, mHC, and multi-head MTP by joelfarthing · Pull Request #2065 · ikawrakow/ik_llama.cpp

핵심 요약

ik_llama.cpp에 openPangu-2.0-Flash 모델 지원이 추가되었으며, 사용자들은 모델의 성능과 효율성에 대해 논의 중입니다.

모델 지원 — openPangu-2.0-Flash 92B 모델이 ik_llama.cpp에 추가됨
기술적 특징 — MLA-latent 캐시, DSA/SWA, mHC 및 멀티 헤드 MTP 적용
사용자 반응 — 모델 성능과 구현 안정성에 대한 의문 제기됨
향후 전망 — 500B 모델 지원을 위한 사전 단계로서의 가치 평가

github.com

원문 사이트로 이동

[블록 1/3] openPangu-2.0-Flash - 92B A6B & 512K 컨텍스트 길이

[블록 2/3] 모델 : https://huggingface.co/openpangu/openPangu-2.0-Flash/blob/main/README_EN.md

[블록 3/3] ik_llama 사용자를 위한 GGUF : https://huggingface.co/ji-farthing/openPangu-2.0-Flash-ik-llama-GGUF

주요 댓글

r/localllama

새로운 모델의 등장은 환영하지만, 기존의 강력한 모델들과 비교했을 때 어떤 특별한 장점이 있는지에 대해 회의적인 시각이 많음.

벤치마크 보니까 3.6 35B A3B한테 밀리네. 그래도 이 사이즈 모델이 부족했는데 새로운 기여가 나와서 기분은 좋음.

근데 이 모델 쓸만함? (그냥 문장 몇 개 만드는 수준 말고, 다른 경쟁 모델들 제치고 실제로 선택할 만큼 좋은지 물어보는 거임.)

이 모델은 화웨이에서 나온 거야. 다들 500B 모델 기다리는 거 알지만, 이 92B 모델도 통합 장비(DGX, SH, MStudio)에는 적합해. 아래 예전 스레드 확인해 봐.

화웨이, openPangu 2.0 공개

그래, 근데 Qwen3.6-27B보다 나음? Qwen3.6-35B-A3B보다 나은가? Gemma 4 모델들은 어쩌고? 돌릴 수 있는 다른 모델들 다 제치고 openPangu-2.0-Flash를 선택할 이유가 있나? 그게 핵심이지. 그냥 사이즈가 좀 특이한 거 말고 이 모델만의 특별한 점이 뭐임? 엄청난 발전이 있었으면 좋겠는데 말이야.

써봤는데 구현상 문제가 좀 있었음: 처음엔 응답하다가 루프에 빠졌고, 두 번째는 응답을 멈췄으며 속도도 느렸어. https://github.com/Thireus/ik_llama.cpp에서 다운받았고. 모델은 아직 안 지웠으니까 새 업데이트 나오면 확인해 볼 생각임. 답변 절반은 흥미로웠음.

모델은 아직 안 지웠으니까 새 업데이트 나오면 확인해 볼 생각임.

여전히 같은 문제면 PR에 (상세 내용을 포함해서) 댓글 남겨줘.

사이즈 선택 아주 좋네, 성능도 좋았으면 좋겠다!

성능에 대한 정보를 별로 못 찾겠네. 비전 지원함?

-1

아마 3진 양자화(ternary quantization)가 이 경우엔 차이를 만들지도 모르겠네 😉 96B W1.58/A6B 모델을 표준 컨텍스트(8k-16k 토큰)로 돌리려면 VRAM은 최대 21GB에서 25GB 정도 필요해.

-3

한편으로는 ik_llama.cpp에서 더 많은 모델 타입을 지원하는 건 좋은 일이지.

다른 한편으로는, 경험칙상 96B-A6B는 24B dense 모델과 맞먹는 수준인데, 내 GPU VRAM에는 24B dense 모델은 들어가지만 96B는 안 들어가거든. openPangu가 기존 24B~32B 범위의 dense 모델들에 없는 독보적인 능력을 제공하는 게 아니라면, 굳이 써야 할 이유를 못 느끼겠어.

500B 모델은 조만간 크게 공개될 거야. 이 92B는 플래시 버전이고. 내 다른 댓글 확인해 봐.

원문r/LocalLLaMA