A.X-K2 공개

RAM 가격은 다시 저렴해질 거고, 33b 활성 모델은 엄청난 연산량을 요구하지도 않음.

내 생각엔 5~10년 안에 1T 모델을 4천 달러 미만으로 로컬에서 돌리는 게 충분히 가능해질 것 같음.

(Strix Halo나 1TB LPDDR6 RAM이 탑재된 GB10 박스를 GB당 2달러라고 생각해보셈.) LPDDR6와 두 배의 채널을 가진 Strix Halo 박스라면 대역폭이 1.4GB/s 범위일 텐데, 이건 A33B 모델에서 초당 40토큰 이상의 디코딩을 하기에 충분한 수치임. dspark나 MTP를 쓰면 더 빨라질 거고.

적어도 사람들은 꿈을 꿀 수 있으니까 :)

그거보단 확실히 빠를걸. 나 몇 달 전에 1만 2천 달러 주고 산 맥에서 1T Kimi k2.6 돌리고 있음. 정상화까지 5~10년 걸리고 거기서 3분의 1로 줄어든다는 건 너무 느린 거 아님?

너 맥이나 맥 클러스터에서 MXFP4나 그 이상의 설정으로 Kimi k2.6을 실사용 가능한 속도로 돌리고 있는 거 아님.

디코딩 초당 30토큰, 프리필 180토큰 나오는데. 스튜디오 단독으로 3.6비트 양자화 돌리거나, 맥북이랑 맥 스튜디오 합쳐서 4비트로 돌려도 비슷한 속도 나옴. 캐싱 쓰면 충분히 실사용 가능함.

프리필 속도 더 필요하면 RTX5090 워크스테이션에서 초당 700토큰으로 스트리밍해서 KV를 맥으로 넘긴 다음 디코딩하게 함.

그러니까 '실사용 가능'의 정의가 뭐냐에 따라 다르겠지.

지금 돌리고 있는 kimi 3 퀀트 모델 링크 좀 줄 수 있음?

kimi 3 아니고 kimi k2.6임. q1.6 k3 퀀트 모델 다운받아서 테스트해보려고 하는데 아직 안 해봄.

과학자들이 그 부분 연구 중임! 선형 기반 개선을 가능하게 하는 Deltanets, 슬라이딩 윈도우 어텐션, 그리고 다른 변형들(DSA, KDA, Mamba) 같은 다양한 메커니즘이 있거든. 심지어 원래의 어텐션 메커니즘도 효율성 면에서 엄청나게 개선됐고.

[Deepseek v4가 v3.2 추론 비용의 27%만 사용했다는 건 우리가 얼마나 발전했는지 보여주는 아주 좋은 예시지](https://huggingface.co/ …

Mamba는 나온 지 좀 됐는데, 순수 Mamba를 사용한 대규모 모델은 성능이 떨어져서 아직 없었어. Qwen 3.6에 일부 혼합 레이어가 들어갔던가? 잘 모르겠네...

Qwen 3.6은 delta-net을 쓰고, Gemma4는 SWA를 쓰고, Kimi는 KDA를 쓰지.

요즘 순수 attention만 쓰는 모델은 거의 없어. 대부분 attention 레이어랑 linear나 sliding window 레이어를 섞어서 쓴다고.