Kimi K3 gets open weighted tomorrow!
Kimi K3 모델의 오픈 웨이트 공개 소식에 대한 커뮤니티의 기대와 하드웨어 사양에 대한 현실적인 우려가 섞인 반응.
Kimi K3가 내일 오픈 웨이트로 공개될 예정임! 내 컴퓨터로는 이거는커녕 100배 작은 모델도 못 돌리지만 ㅋㅋ 그래도 오픈 소스 입장에서는 엄청난 승리임. 개인적으로는 새로운 추론 제공업체들이 많이 생겨나길 기대하고 있음.
Kimi K3 모델의 로컬 구동 가능 여부와 이를 뒷받침하기 위한 하드웨어 사양에 대해 기술적인 논의가 활발히 진행되고 있음.
기대되네. 정확히 활성 파라미터가 몇 개인지 궁금하고, GGUF 나오면 Q2 양자화 버전이 Q4_X의 Kimi K2.7 Code나 Q4_K_M의 GLM 5.2보다 나을지도 궁금함(Q2가 내 워크스테이션에 올릴 수 있는 최선의 Kimi K3 양자화 버전일 테니까).
2.8T 모델을 Q4로 겨우 돌리는 상황에서 744B 모델을 Q2로 돌리면 어떻게든 돌아갈 거라고 기대하는 거야? 그래도 여전히 2배는 더 큰데. 워크스테이션이 뭔지는 잘 모르겠지만, Kimi 3의 활성 파라미터 수가 상대적으로 적다고 해도 제대로 된 속도를 내려면 레이어 대부분을 VRAM에 올려야 하잖아, 안 그래? 안 그러면 레이어 대부분을 RAM으로 오프로딩해야 하는데, 12채널 DDR5 같은 걸 쓴다 해도 프로덕션 용도로는 쓸모가 없을걸. 그냥 실험용으로 돌리면서...
내 경우에는 1TB RAM이랑 96GB VRAM이 있어서 DeepSeek V4 Pro 1.6T도 Q4로 올릴 수 있어(근데 초기 테스트 이후로는 K2.7이나 GLM 5.2가 더 나아서 V4 Pro는 안 쓰게 됐지만). 내 환경에선 K3가 Q2로 들어갈 것 같긴 한데, 내 하드웨어에서 실용적으로 쓸 수 있을지는 두고 봐야지. 그동안은 작업에 따라 K2.7이나 GLM 5.2를 주로 돌리고, 메인 워크스테이션에서 더 큰 모델을 돌리는 동안 서브 PC로 Qwen 3.6 27B를 VRAM에 완전히 올려서 병렬로 돌리고 있어...
그 1TB 서버 램 + GPU로 그 모델들 돌리면 tok/s 속도 얼마나 나옴?
Kimi K2.7 Code Q4_X로는 prefill 100-150 tokens/s에 generation 8-9 tokens/s 나오고, GLM 5.2 Q4_K_M으로는 generation 7-8 tokens/s 나옴.
96GB VRAM으로는 K3를 네이티브로 돌릴 수 있어도, Q2조차도 700GB VRAM + KV 캐시, CUDA 커널, 버퍼를 위한 공간이 필요함. 여전히 엄청난 오프로딩이 필요한데, 현실적으로 가능할지 모르겠네.
96GB VRAM(아마 엔비디아 블랙웰 쓰나 보네)이랑 1TB RAM으로 GLM 5.2를 어떻게 돌린 거야? 그리고 초당 토큰은 얼마나 나와? 클라이언트용으로 세팅 중인데, vLLM 써서 Qwen 3.6 27B를 VRAM에 완전히 올리는 게 목표거든.
llama.cpp에 --slot-save-auto로 자동 디스크 캐시 관리 기능을 추가한 https://github.com/F3zz1k/llama.cpp 패치를 써서 GLM 5.2 Q4_K_M을 돌리는 중임 (이걸 쓰면 후처리 기다릴 필요 없이 이전 대화/프롬프트로 즉시 돌아갈 수 있어서).
3090 GPU 4개 쓰고 있고, 256K 컨텍스트 캐시랑 공통 expert 텐서, 그리고 몇몇 레이어를 올리니까 generation 속도 7-8 tokens/s 나오더라. MTP는 속도 향상이 별로 없어서 대신 ngram speculative decoding을 쓰는데, 이건 빌드할 컨텍스트가 좀 필요해서...
공유 고마워. 괜찮다면 CPU랑 RAM 사양 좀 알 수 있을까? 예를 들면 CPU 모델, 개수, RAM 채널이랑 속도 같은 거.
내 경우는 64코어 EPYC 7763 CPU + 8채널 1TB 3200MHz DDR4 RAM + 3090 GPU 4개야. 내 장비에 대해 더 자세히 알고 싶으면 여기(https://www.reddit.com/r/LocalLLaMA/comments/1jxu0f7/comment/mmwnaxg/)에 공유해 뒀어 (메인보드, 장비 사진, GPU 배치랑 쿨링 구성 같은 거 포함).
대박! 정말 고마워!
Lissanro는 MOE 오프로딩으로 돌리고 있을걸, 그래서 GLM 5.2로도 꽤 괜찮은 속도가 나오는 거겠지.
qwen 3.6 27b를 vllm을 통해 vram에 완전히 올리는 게 아이디어임
그건 참고로 작성자가 하려는 거랑은 완전히 다른 문제임.
"896개 expert 중 16개 활성화" https://www.kimi.com/blog/kimi-k3
총 2800B x (16 / 896) = 50B 활성화.
거기다 공유 파라미터/임베딩이랑 공식 파라미터 수 반올림까지 고려하면... 대충 60-70B 활성화 혹은 그 이상일 듯.
내 생각에 Q2 thinking 모델은 거의 쓸모없음. 최종 답변이 나빠서가 아니라 효율성이 너무 구려서임. "잠시만", "다시 생각해 보자", "하지만", "음"을 계속 반복하니까. 모델이 3배 더 오래 생각하느라 뇌가 망가진 게 가려져 있을 뿐임...
내 인텔 i3-2120 2코어 2스레드 8GB 램 PC에서 Kimi K3 돌릴 생각에 벌써 설렌다 🔥🔥🔥
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.