화웨이, openPangu 2.0 공개 (6월 30일 오픈소스 예정)
Huawei Released openPangu 2.0 (Will open source on June 30)
핵심 요약
화웨이가 512K 컨텍스트와 높은 희소성을 갖춘 오픈소스 모델 openPangu 2.0을 발표했습니다.
- 모델 라인업 — 505B Pro와 92B Flash 두 가지 버전으로 구성됨
- 성능 최적화 — Ascend 컴퓨팅 파워에 최적화되어 처리량과 지연 시간 개선
- 오픈소스 계획 — 6월 30일부터 모델 가중치와 학습 코드 등을 순차적으로 공개
- 희소성 기록 — 1000억 파라미터급 모델 중 28:1이라는 최대 희소성 비율 달성
6월 12일 열린 화웨이 개발자 컨퍼런스(HDC 2026)에서 화웨이 상임이사 리처드 위(Richard Yu)가 오픈소스 판구(Pangu) 대규모 모델인 'openPangu 2.0'을 공식 발표했음. 이 모델은 하모니OS(HarmonyOS) 생태계에 완벽하게 최적화됐고, 어센드(Ascend) 컴퓨팅 파워에서 성능을 제대로 뽑아내도록 딥하게 튜닝됐음.
openPangu 2.0은 512K 컨텍스트 처리 능력을 갖췄고, 사용 목적에 따라 두 가지 버전으로 나옴. 1,000억 개 파라미터급 모델 중에서는 역대급인 28:1의 희소성(sparsity) 비율을 찍었음.
- openPangu 2.0 Pro: 전체 파라미터 505B, 활성 파라미터 18B.
- openPangu 2.0 Flash: 전체 파라미터 92B, 활성 파라미터 6B.
컨퍼런스 발표랑 시연 내용을 보면, openPangu 2.0은 처리량(throughput), 지연 시간(latency), 작업 처리 능력 면에서 완전히 환골탈태했음.
- 어센드 컴퓨팅 파워에 맞춰 빡세게 최적화해서, 단일 카드 사용자 처리량이 업계 주류 오픈소스 모델보다 최대 2배나 빠름.
- 어센드 네이티브 학습 기반으로 하이퍼 노드 학습 효율은 30% 올랐고, 512K 긴 시퀀스 학습 처리량은 50% 증가, 학습 일관성은 99%를 넘김.
- 고정밀 아키텍처(mHC | Muon | ModAttn)를 쓰고, DSA+SWA 독립 계층형 하이브리드 아키텍처(초희소 어텐션)를 처음 도입해서 컴퓨팅 파워를 훨씬 효율적으로 배분함.
화웨이는 6월 30일부터 openPangu 2.0의 핵심 구성 요소를 순차적으로 오픈소스화해서 개발자들한테 다 풀겠다고 선언했음.
기본 구성 요소: 모델 아키텍처, 모델 가중치, 기술 보고서, 추론 코드.
새로 오픈소스화되는 구성 요소: 사전 학습 코드, 사후 학습 코드, 학습 연산자.
2.0 Pro 버전의 전체 파라미터가 505B나 되는 걸 두고 말이 많았는데, 리처드 위는 컨퍼런스에서 화웨이가 자사 컴퓨팅 파워를 다른 중국 기업들 지원하는 데 워낙 많이 쏟아붓느라 정작 자기네가 쓸 건 별로 없어서 이렇게 설계했다고 설명함. 게다가 AI 연산 비용이 워낙 살벌하니까, 지금 화웨이 전략은 지연 시간 줄이고 처리량 높이는 데 올인하는 쪽임.
(이미지는 Nano banana 2를 사용해 영어로 번역함)
