r/LocalLLaMA•3개월 전•232•114
새로운 모델: GigaChat3.5-432B-A28B (day-0 GGUF 지원!)
New model: GigaChat3.5-432B-A28B (with day-0 GGUF support!)
핵심 요약
Sberbank의 신규 모델 GigaChat 3.5 공개, GGUF 지원과 함께 오픈 웨이트 체크포인트를 제공하여 로컬 LLM 커뮤니티의 주목을 받음.
- 모델 아키텍처 — 432B 파라미터의 하이브리드 MoE 모델로 이전 버전 대비 효율성 및 성능 향상
- 오픈 소스 정책 — 베이스 모델과 중간 체크포인트까지 공개하여 높은 수준의 개방성 확보
- GGUF 지원 — llama.cpp PR을 통해 즉시 로컬 환경에서 구동 가능
- 언어적 한계 — 러시아어 처리에는 탁월하나 그 외 언어에서는 범용 모델 대비 성능이 다소 아쉬움
Sberbank에서 만든 새로운 모델:
https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B
베이스 버전도 사용 가능함: https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B-base
가장 중요한 건 GGUF 버전도 만들었다는 거임: https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B-GGUF
현재 마스터 브랜치에는 아직 안 올라왔지만, 이 PR에서 빌드할 수 있음: https://github.com/ggml-org/llama.cpp/pull/25342
