Kimi K3 풀 모델, 16x GB10 클러스터에서 20+ tps로 구동

그 정도 돈을 쓸 수 있다면 부가세 없이 살 수 있는 회사도 분명 있을 거임.

내가 회사라면 이런 장비를 사는 것보다 클러스터를 빌리거나(대학 환경이라면 HPC 접근 권한을 요청하거나) 하는 걸 선호할 것 같음 🥸

데이터가 외부로 유출되면 절대 안 되는 규제 산업 분야에서 일하면서, 동시에 최상위권 모델이 필요한 경우를 가정해 보자고. 나도 이 아이디어를 반대하는 건 아니야. 다만 작성자가 접근하는 방식이 낭비라고 생각할 뿐이지. 사실 나도 K3를 로컬에서 돌릴 수 있게 홈랩을 재구성 중인데, 소프트웨어를 얼마나 최적화하느냐에 따라 토큰당 생성 속도가 7에서 15t/s 정도 나올 것 같아. 듀얼 Xeon 8480 보드랑 CPU는 4천 달러 정도면 구할 수 있고, 1.5TB DDR5-4800 램은 1만 5천 달러 정도 들 거야. 대충 잡아서...