Kimi K3 has become open-weights just as of a few minutes ago.
Kimi K3 모델이 오픈 웨이트로 공개되면서, 사용자들은 하드웨어 요구 사항과 향후 호스팅 비용 절감 가능성에 대해 논의하고 있습니다.
huggingface.co
원문 사이트로 이동
Kimi K3의 오픈 웨이트 공개에 대해 라이선스 규정을 바로잡거나 AI의 미래를 농담 섞어 논하는 반응들이 주를 이룸.
현실적으로 이거 돌리려면 어떤 사양이 필요함?
K3는 2.8TB인데 MXFP4를 쓰면 1.5TB 정도 됨. 컨텍스트까지 고려하면 더 필요하고. 기술적으로 더 작게 만들 순 있겠지만 성능이 엄청나게 떨어질 거임. 이론상 램으로 돌릴 순 있겠지만 애초에 AI 데이터센터 칩용으로 설계된 거라 다른 걸로 돌리면 엄청나게 느릴 거임. 현실적으로 Kimi K3는 그냥 제공업체에서 추론 서비스를 빌려 쓰는 게 훨씬 저렴함. 게다가 오픈 웨이트니까 다른 사람들이 더 작은 모델로 증류해서...
대부분은 못 돌리겠지만, 더 많은 사람이 호스팅할 수 있게 된다는 게 큰 수확이지. 그러면 자연스럽게 비용도 내려갈 거고. 이미 다른 모델들보다 저렴하지만 더 내려갈 거라고 봄.
옛날 SETI 앱처럼 크라우드소싱 호스팅을 하는 건 어떨까? 이제 누구나 자기 컴퓨팅 자원을 기여할 수 있잖아. 엄청나게 느린 분산형 LLM 컴퓨팅이 되겠지.
최초의 자아를 가진 AI들은 엄청난 숙취에 시달리겠네.
연산 능력은 사실 문제가 된 적이 없음, 진짜 문제는 메모리 대역폭이지. 이거 돌릴 생각이라도 하려면 상상도 못 할 정도로 빠른 인터넷 다운로드 속도가 필요할걸.
비용 안 내려갈 거임. 호스팅 업체들이 로열티 내야 하고 기업용 약관도 많아서 완전한 오픈 웨이트 모델이 아니거든. 제공업체들이 1달러라도 싸게 호스팅해 줄 거란 기대는 하지 마셈. 절대 안 일어날 일임.
로열티 같은 거 없음. 그건 사실이 아님. 라이선스 규정상 사업 규모가 일정 수준 이상일 때만 모델 이름을 표시하면 됨.
실제 VRAM/HBM 비용: 50만 달러 이상. 만약 'LLM을 돌린다'는 게 '빠르게' 돌린다는 뜻이라면, 2.8TB의 HBM은 H200 20대나 RTX Pro 6000 30대 분량이야. 이건 DGX 랙 수준이고, 최소 50만 달러에 전력도 15~20kW는 먹어. Claude가 말한 대로라면 말이지.
Kimi는 원래부터 네이티브 4비트였음.
아 맞네. 내 실수임, 원래 댓글 수정할게. 고마워!
5090 쓰면서 우는 중.
3090 쓰면서 오열 중.
4050 쓰면서 우는 중
1060으로 뭘 할 수 있을지도 모르겠는데...
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
MiniMax의 새로운 코딩용 모델 M3.1-Flash-Preview가 공개되었으나, 아직 상세 정보는 부족한 상황입니다.
MiniMax의 새로운 코딩용 모델 M3.1-Flash-Preview가 공개되었으나, 아직 상세 정보는 부족한 상황입니다.