Kimi K3 achieves 3rd Place on ArtificalAnalysis, beating out Claude Opus 4.8
Kimi K3가 ArtificialAnalysis에서 3위를 차지하며 상위권 모델로 등극했으나, 사용자들은 극도로 느린 속도와 효율성에 대해 엇갈린 평가를 내놓고 있습니다.
Kimi K3의 성능은 높게 평가받고 있으나, 기업 환경에서의 보안 우려와 컴퓨팅 제한, 그리고 구독료 가성비에 대해 다양한 의견이 오가고 있습니다.
누가 이거 써보고 후기 좀 남겨줬으면 좋겠네. 오늘 바 차트는 이미 충분히 봤어. Sonnet 가격에 30 t/s 정도면 추론 효율이 엄청나야 할 텐데.
100% 동감. 만약 이 모델이 단순히 방대한 추론 블록으로 지능을 흉내 내는 모델이라면 엄청 실망스러울 거야. 아쉽게도 Ockbench에는 아직 없는데, 완벽하진 않아도 토큰당 지능을 측정하는 방식은 너무 많은 벤치마크가 무시하고 있는 부분이지. 토큰을 두 배로 써서 1% 더 똑똑해지는 건 관심 없어. 제발 이번엔 안 그러길.
AA는 작업당 총 출력 토큰 사용량(추론 + 생성 토큰)을 다 공개함. Fable 69k, K3 23k, Sol 15k라고. 그러니까 방대한 추론 블록을 쓰는 건 아님.
레딧 좀 그만 보고 직접 찾아봐. 토큰 사용량 다 공개되어 있어.
모델이 1% 더 똑똑해봤자 토큰을 두 배로 잡아먹으면 아무 의미 없지.
ㄹㅇ 이게 맞음.
최근에 써본 k2.7 code, GLM 5.2, GPT 5.5 xhigh 같은 데일리 드라이버들이랑 비교하면 압도적으로 느림. 다른 모델들 속도의 절반도 안 됨. 하지만 다른 모델들이 하루 종일 프롬프트 날려도 못 하던 걸 첫 시도에 해낸 것도 있음. 지금으로선 어려운 문제 디버깅할 때나 쓰는 모델이지, 데일리 드라이버는 아님.
추론 효율이 별로임... GLM이나 예전 Kimi만큼 나쁘진 않지만 여전히 Sol보다 토큰을 10-20% 더 잡아먹음.
그래도 작업당 비용은 더 저렴한 것 같고, 성능은 비슷함.
아주 약간 더 저렴한 수준임. Kimi K3로 AA 스위트 돌리는 데 2691달러 들었음. GPT 5.6 Sol(max)은 2824달러로 5% 더 비쌀 뿐임. 대부분 벤치마크에서 Sol max보다 성능이 떨어지는데 말이지. 실제 사용 시에는 추론 토큰은 적게, 입력 토큰은 많이 쓰게 될 테니 Sol보다 비용은 좀 덜 들겠지만, DeepSeek처럼 압도적인 차이는 아닐 듯. Codex 구독은 당분간 유지해야겠네.
진짜 놀라운 건 API 호출에 6~7자리 숫자를 쓰는 대기업들이 이제 하드웨어에 한 달 치 비용만 투자하면 K3 같은 걸 사내에서 돌릴 수 있다는 거임... 선택지는 점점 더 좋아질 거고. OpenAI나 Anthropic은 망할지도.
계산이 안 맞는데. 이건 2.8T INT4 네이티브 모델이라 가중치만 1400GB임. 다중 사용자 배치를 처리하려면 KV 캐시로 30-50% 여유가 필요해서 VRAM이 1800GB는 있어야 함. RTX 6000 Pro 19장이 필요한데 시스템 분산해서 25만 달러 정도 들겠지. 근데 그 카드들로는 그렇게 많은 토큰을 처리할 동시성을 지원 못 함. B200 10장(50만 달러 상당 하드웨어)을 써도 그 정도 토큰을 처리해서 비용 회수하기엔 역부족일 듯...
기업 입장에서 온프레미스 K3의 진가는 완벽한 제어권이랑 IP 프라이버시라고 봄.
그래, 이제 개별 기업이 소유하거나 같은 법인 소유의 기업들끼리 공유하는 마이크로 데이터 센터들을 보게 될 거야.
서구권의 괜찮은 기업들은 대부분 중국 모델 금지임. OpenAI랑 Anthropic은 별일 없을 거다.
뭐라고? 전혀 아닌데. Cursor, Airbnb, 심지어 Microsoft도 자기네 인프라에 중국 모델 돌리는 거 고려 중임.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
