Kimi K3, 출시 3개월 후: 로컬에서 돌리기엔 너무 크고, 이미 작은 모델들이 따라잡았다

K3는 7월에 다운로드 가능한 최고의 오픈 모델이라며 엄청난 기대를 모았고, Artificial Analysis에서 57점을 찍으면서 Opus 4.8이나 GPT-5.5랑 어깨를 나란히 했었지. 지금 실제로 돌리면 어떤지 궁금해서 Unsloth의 양자화 문서, 모델 카드, AA, 그리고 라이선스까지 싹 다 다시 확인해 봤다.

결론부터 말하자면: 여전히 괴물 같은 놈이긴 한데, 다른 모델들이 다 따라잡혔어.

• 풀 모델 용량은 1.56 TB야. 104B 활성 파라미터라고 해도 메모리 아껴지는 거 하나도 없고, 2.8T 파라미터 전부 다 로드해야 함.

• Unsloth가 권장하는 가장 작은 양자화 버전도 594 GB라서 RAM+VRAM이 610 GB 정도 필요해. 512 GB에는 안 들어가고, Unsloth 측에서도 어떻게든 그 밑으로 줄여보려고 노력 중이라더라.

• 1-bit 양자화는 풀 모델이랑 다음 토큰 예측 일치율이 79% 정도야. 2-bit로 올리면 90%까지 나오는데, 이러면 861 GB가 필요함.

• 메모리에 다 들어가면 B200에서 20 tok/s 정도 나옴. 메모리 부족해서 디스크로 오프로딩되면 그냥 기어가는 수준이지.

• 지금 AA 인덱스에서는 44점이야. 점수 떨어진 건 모델 자체가 구려졌다기보다 AA가 인덱스 방식을 바꾼 탓이 크긴 한데, 어쨌든 GLM-5.3(753B)이 45점 찍고 Step 5 Preview(600B)가 44점으로 동급이 됐어.

• API 속도도 느려 터졌음. Kimi 자체 API에서 43 tok/s 나오고, AA의 에이전트 벤치마크에서는 작업 하나당 평균 거의 1시간 걸리고 비용도 10달러 넘게 깨짐.

사람들이 자꾸 놓치는 게 라이선스야. 이거 MIT 라이선스 아님. 만약 니네 회사가 모델을 서비스로 제공하는 사업을 하는데 12개월 동안 총매출 2천만 달러 넘으면, K3로 돈을 한 푼도 못 벌었어도 상업적으로 쓰려면 Moonshot이랑 별도 계약 맺어야 함.

주의사항: AA는 API를 통해 최대 추론 성능으로 풀 모델을 테스트한 거야. 1-bit 양자화에 대한 제대로 된 작업 벤치마크는 찾을 수가 없어서, 79% 토큰 일치율은 그냥 참고용이지 품질 점수는 아니라는 거 알아둬.

그래서... 혹시 집에서 K3 돌리는 사람 있냐? 그리고 만약 600 GB 메모리가 있다면, 1-bit K3를 쓸래 아니면 훨씬 높은 양자화율의 GLM-5.3 같은 걸 쓸래?