r/LocalLLaMA•5개월 전•13•7
Sipeed의 K3 RISC-V SBC, 30B 파라미터 LLM 구동 가능 (60 TOPS, INT4/BF16/FP16 지원)
Sipeed's K3 RISC-V SBCs can run 30B-parameter LLMs 60 TOPS (INT4), Supports BF16/FP16/INT4
핵심 요약
Sipeed의 새로운 RISC-V 기반 SBC가 30B 파라미터 LLM을 구동할 수 있다는 소식에 커뮤니티의 관심이 쏠림.
- 하드웨어 사양 — 32GB LPDDR5 메모리와 60 TOPS NPU를 탑재하여 엣지 환경에서 LLM 구동 가능.
- 성능 논란 — 35B 모델에서 15 TPS를 지원한다고 하지만, 실제 컨텍스트가 늘어나면 성능 저하가 우려됨.
- 가격 및 타겟 — 600달러라는 가격은 소비자용보다는 키오스크나 대기실 등 엣지 컴퓨팅 배포용으로 적합함.
- 전력 효율성 — 전력 소모에 대한 언급은 없으나, 엣지 환경에 최적화된 설계로 뛰어난 효율을 기대함.
Sipeed에서 발표한 새로운 RISC-V 기반 SBC는 32GB LPDDR5 메모리와 60 TOPS NPU를 탑재하여 엣지 환경에서 LLM을 구동할 수 있도록 설계되었습니다. 이 보드는 30B 파라미터 모델을 지원하며, BF16, FP16, INT4 데이터 형식을 처리할 수 있습니다. 제조사에 따르면 Qwen 3.5 35B 모델 구동 시 최대 15 TPS의 속도를 낼 수 있다고 주장합니다.
