Kimi-K3.1-Pro is now open-weights
3T 규모의 Kimi-K3.1-Pro 모델이 오픈 웨이트로 공개되면서 커뮤니티에서 하드웨어 사양과 활용 방안에 대한 논의가 활발합니다.
huggingface.co
원문 사이트로 이동
모델 공개에 대한 기대감과 함께, 고사양 하드웨어 요구 사항에 대한 현실적인 논쟁과 농담이 섞인 반응이 주를 이룹니다.
개인적 사용을 완전히 허용하고 상업적 이용 시에도 API 제공자가 아니라면 출처 표기만 요구하는 라이선스로 3T 모델이 오픈 웨이트로 공개됐네. 진짜 미쳤다!
근데 솔직히 말해서, 회사에 있는 6만 달러짜리 서버로도 감당 안 되는 모델을 '개인적'으로 쓴다는 건 좀 제한적인 시나리오 아니냐 :D
사람들이 이 주제에 대해 관점을 좀 바꿀 필요가 있음.
물론 게이밍 PC에서 이걸 돌릴 순 없지. 이건 게임이 아니라 최첨단 SF 기술이니까.
근데 주변을 둘러보면 이런 데 돈 쓰는 사람들 널렸음:
정말 좋아하는 취미에 6만 달러 쓰는 건 중산층에선 아주 흔한 일임. 그러니까 당연히 개인용 모델로 돌릴 수 있지. 그냥 이미 집에 굴러다니는 하드웨어로는 안 돌아갈 뿐임.
아니, 제한적이지 않음. 잘못된 정보 퍼뜨릴 거면 댓글 좀 달지 마. 중소기업이라면 Kimi 3.1을 호스팅해서 개인들에게 제공할 수 있고, 그럼 OpenAI나 Anthropic 같은 거대 기업의 독점을 피할 수 있음. 그게 진짜 엄청난 가치지.
대부분의 사람들이 이걸 직접 돌릴 수 없다는 건 중요하지 않음. 그냥 무료로 풀어버렸다는 사실, 그게 선택지 중 하나가 되었다는 사실 자체가 미친 거임!
이게 10~12개월 안에 27b 모델로 기술을 압축하는 데 도움이 될 거다.
상업적 제품의 런타임에만 안 쓰면 사내용으로 쓰는 건 허용되는 걸로 아는데
내 GTX 1030은 준비됐다 💪
strata q0.0001xl-ud.gguf로 돌려보자 💪💪
Strata에서 IQ1_XXS 거세된 QFN 버전 돌려봤어? 그거 쓰니까 디코딩 속도 7조 나오더라.
지금 내 m.2 상태
아니 형님, 나 아직 mistral large BF16 다운로드 절반도 안 끝났다고
"토큰 하나 생성하는 데 영업일 기준 하루 걸림."
가보자고!
레드 키미. SSD에서 260GB/s 속도라니.
16x 1TB pcie5.0. 4개의 Raid 0 그룹인 것 같은데? 그럼 4TB 공간이지. 약 4300달러면 LPDDR과 경쟁할 만한 SSD 읽기 속도를 얻을 수 있고, 최악의 경우에도 최소 20-30 tok/s 디코딩 속도를 보장받는 셈이야. Expert caching을 쓰면 메모리에서 읽어오는 GB300 속도의 절반 정도는 나오겠지. 4TB 공간을 쓸 수 있다는 점은 빼고 말이야.
가능한 일이고, 결국 그렇게 될 거야. 몇 년 안에 예산만 충분하면 풀 프리시전으로 돌릴 수 있게 되겠지.
레볼루트가 Claude 대신 자체 모델을 호스팅하여 AI 코딩 비용을 획기적으로 줄인 사례에 대해 로컬 LLM의 가치를 재조명하는 반응이 주를 이룹니다.
레볼루트가 Claude 대신 자체 모델을 호스팅하여 AI 코딩 비용을 획기적으로 줄인 사례에 대해 로컬 LLM의 가치를 재조명하는 반응이 주를 이룹니다.
14개월 동안 13개 Claude 모델에 동일한 프롬프트를 입력해 웹 게임 생성 능력을 비교한 실험 영상입니다.
14개월 동안 13개 Claude 모델에 동일한 프롬프트를 입력해 웹 게임 생성 능력을 비교한 실험 영상입니다.
AI에게 서버 관리 권한을 맡기는 위험천만한 상황을 풍자하는 게시물입니다.
AI에게 서버 관리 권한을 맡기는 위험천만한 상황을 풍자하는 게시물입니다.