bartowski/XingChen-AGI_Xing4.0-29B-A4B-GGUF · 허깅페이스
bartowski/XingChen-AGI_Xing4.0-29B-A4B-GGUF · Hugging Face
핵심 요약
중국 텔레콤이 개발한 29B 파라미터의 MoE 모델 Xing4.0-29B-A4B가 공개되었습니다.
- 모델 아키텍처 — 29B 파라미터에 4B 활성, 256K 컨텍스트 지원
- 학습 최적화 — Ascend NPU 및 MindSpore 환경에서 96% 성능 향상
- 생태계 호환성 — LLaMA-Factory, vLLM 등 주요 프레임워크 지원
- 벤치마크 성능 — SWE-bench 및 Terminal-Bench에서 우수한 결과 기록
huggingface.co
원문 사이트로 이동
오늘 새로운 29B MoE 모델 한번 써볼래?
Xing4.0-29B-A4B는 차이나 텔레콤 AI 테크놀로지(China Telecom Artificial Intelligence Technology Co., Ltd.)에서 개발한 Xing 시리즈(구 TeleChat)의 차세대 거대 언어 모델이야. 총 파라미터는 29B인데 토큰당 4B만 활성화되는 구조고, 기본적으로 256K 컨텍스트 길이를 지원하며 512K까지 확장 가능해. 이 정도 규모의 모델 중에서는 최초로 Ascend NPU 플랫폼과 MindSpore 프레임워크를 사용해 완전히 학습됐고, 복잡한 엔지니어링 작업에 맞춰 최적화까지 빡세게 들어갔어.
더 자세한 내용은 우리 GitHub 저장소에서 확인해 봐.
주요 특징
-
에이전트 지향 아키텍처: mHC + MLA + MTP 아키텍처를 기반으로 설계됐어. 다단계 계획 수립, 도구 호출, 복잡한 추론 체인 실행을 지원해서 긴 컨텍스트에서도 작업 일관성과 실행 안정성을 꽉 잡아줘.
-
Ascend NPU와 찰떡궁합: MindSpore/MindFormers를 사용해 Ascend 910C 클러스터에 최적화했어. mHC 기능 적용이나 퓨즈드 연산자 개발까지 다 마쳐서 Ascend 플랫폼에서 아주 안정적이고 효율적으로 돌아가.
-
압도적인 학습 효율: 세밀한 MoE 통신 최적화, 선택적 재계산, DVM 자동 그래프-연산자 퓨전, Ascend C mHC 퓨즈드 연산자 같은 다단계 최적화를 거쳐서 전체 학습 처리량을 기존 대비 약 **96%**나 끌어올렸어.
-
완벽한 오픈소스 생태계 호환: LLaMA-Factory랑 MindFormers로 파인튜닝 가능하고, SGLang, vLLM, KTransformers로 추론이랑 배포도 문제없어. OpenCode, Claude Code, OpenClaw, Hermes 같은 에이전트 프레임워크에 맞춰서 포맷도 다 맞춰놨으니까 기존 워크플로우에 그냥 갖다 붙이면 돼.
-
도메인 특화 시나리오에 최적화: 다운스트림 작업 파인튜닝에 아주 적합해. 의도 분류, 표 이해, 계약서 감사, 지식 기반 QA 같은 특정 분야에서 자체 데이터를 활용해 가볍게 커스텀할 수 있어서, 저비용으로 빠르게 도메인 특화 기능을 개발하고 배포할 수 있어.
모델 개요
| Xing4.0-29B-A4B | |
|---|---|
| Parameters | 29B (4B active) |
| Number of Layers |
