Kimi K3 released on web and app
2.8T 파라미터의 거대 모델 Kimi K3가 공개되었으며, 로컬 구동 가능 여부와 하드웨어 요구 사양에 대해 커뮤니티의 관심이 집중되고 있습니다.
사용자들은 2.8T라는 압도적인 파라미터 규모에 놀라워하며, 모델의 오픈 웨이트 여부와 로컬 구동을 위한 하드웨어 사양에 대해 활발히 논의하고 있습니다.
진짜 엄청 크네, 그치? 512GB 램으로는 1.58비트 양자화 모델도 못 돌릴 텐데... 그래도 아주 소수만 돌릴 수 있더라도 로컬에서 최첨단 모델을 돌릴 수 있다는 건 좋은 일이야.
NVMe 쓰면 0.0x 토큰/초 속도로 돌릴 수 있어 😉. 난 128GB 램에서 GLM 5.2 Q4 모델을 0.32 토큰/초로 돌리는 중이야!
나한테는 1 토큰/초가 실사용 가능한 마지노선인데, 언젠가 그 속도가 나오면 나도 저런 거대 모델들을 시도해 볼 수 있겠지. 아무튼 Colibri 써봤어? 요즘 말이 많던데 1 토큰/초에 아주 근접한다고 하더라고.
같은 노트북에서 시도해 봤는데, Colibri는 즉시 시작은 되지만 0.2 토큰/초가 나오더라. Llama.cpp는 시작하는 데 몇 분 걸리지만 생성 속도는 0.32 토큰/초였어. 느리긴 하지만 6개월 전에는 이런 크기의 모델을 시작조차 할 수 없었다는 걸 생각하면... 😅 그냥 이메일 주고받듯이 모델이랑 대화한다고 생각하면 돼 😂.
그럼 Llama.cpp가 말이 많은 거에 비해 더 빠르다는 거네. 예상대로군.
그래도 돌릴 수 있다는 가능성 자체가 나를 설레게 해. 아무리 느려도 돌릴 수 없는 것보다는 돌릴 수 있는 게 항상 더 나으니까.
너 진짜 긍정적이구나! 난 Kimi K2.6을 24 토큰/초로 돌리는데도 너무 느리다고 생각하거든. 컨텍스트도 작은데 말이야.
40 토큰/초(TG)에 1500 토큰/초(PP) 정도면 괜찮은 수준이지.
하하, 그랬으면 좋겠네. 그 모델 속도 진짜 대박이다. 난 주로 수학 연구, 브레인스토밍, 아이디어 테스트, 계산 같은 거 할 때 모델을 써. 가끔 코딩도 하고. 모델이 SOTA급이고 답변 퀄리티만 좋다면 1 t/s라도 상관없어. 어차피 연구는 몇 주씩 걸리니까. 근데 20 t/s 미만이면 대부분 사람한테는 고문일 듯, 특히 agentic flow에서는 더더욱.
흥미롭네, 1 t/s로 대체 무슨 실사용 사례를 해결할 수 있는 거야? 내 하드웨어로는 30B(dense) 넘는 건 5 t/s 이상으로 돌리기도 벅차고, 그것조차 너무 느리다고 생각하거든. 특히 thinking token 때문에 실제 작업 시작하기까지 지연 시간이 엄청나게 추가되니까. 작업 하나에 한두 시간씩 걸리면서 모델 성능을 제대로 파악한다는 게 상상이 안 가네. 특히 glm 5.2는 추가적인 반복 작업도 필요하고 추론 텍스트도 길게 뽑아내잖아.
대부분의 사람들이 테스트해 볼 수 있는 유일한 방법이지. Q4는 램이 약 1500GB 필요해서, 램을 풀로 채운 시스템 3~4개를 연결해야 할 거야.
임베딩 스케일링 연구를 위한 자료도 공개된 것 같지 않아서 램을 아낄 방법도 없어 보여.
지금은 실용성보다 트렌드가 더 중요해. 이런 최첨단 모델이 나올 때마다 결국 증류나 양자화 과정을 거쳐서 우리 같은 사람들도 실제로 돌릴 수 있게 되니까, 이런 모델들이 오픈 소스로 나오는 건 어쨌든 좋은 소식이야.
낙수효과 모델노믹스네 ㅋㅋㅋ
일단 돌리려면 가중치가 있어야 하는데, 가중치도 공개했어?
500k 정도면 B300 8개만 있으면 돼
업그레이드 좀 해야겠네
2.8T 파라미터라니 미쳤네. 만약 HF에 올라온다면 지금까지 나온 오픈 웨이트 모델 중 가장 큰 거 아님? 벤치마크 결과 기대된다.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
