GLM 5.2, 로컬 환경에서 어느 정도 속도가 나오나요?

인텔이 Optane을 계속 만들었더라면, 이런 종류의 무거운 읽기/쓰기 작업 + 낮은 지연 시간 환경에선 정말 최고였을 텐데.

딱히 필요 없지 않나? 레이드0 배열에서 25~35GB/s가 나오는데 Optane이랑 꽤 비슷하다고 생각하거든. 프리필의 좋은 점은 지연 시간이 중요하지 않다는 거야. 디코드할 때는 도움이 되겠지만.

Optane 언급을 보니 반갑네, 나도 그 얘기 하려고 들어왔거든. 지연 시간은 확실히 더 좋았지만 순수 대역폭은 DIMM 버전에서도 살짝 부족했지.

몇 세대만 더 다듬었더라면 대규모 모델을 돌리는 유일한 합리적인 방법이 됐을 텐데.

애플이 아이폰에서 로컬 모델을 돌리려는 방식에 관심이 많을 것 같아. NAND에서 RAM으로 MoE 모델의 전문가(experts)를 스트리밍하는 방식인데, 지금처럼 하는 거지. 한 번에 더 똑똑한 모델(혹은 전부 다는 아니더라도?)을 골라서...

아니, 난 exo랑 관련 없고 교차 아키텍처 작동하게 만들었어. llama 프리필이랑 mlx 디코드 문제없이 돌아가, 좀 걸리긴 했지만.

음, 나도 비슷한 하드웨어 구성을 가지고 있고, 경험도 좀 있고 시간도 많으니까 베타 테스터가 필요하면 말해! 아니면 깃허브 올라오길 기다리고 있을게.

그래 좋아. 실제로 안정적으로 작동하게 하려면 몇 번의 시도가 필요할 수도 있는 걸 기꺼이 테스트해준다면 정말 좋지. 내 컴퓨터가 아닌 다른 기기에서도 잘 돌아가도록 설치 패키지를 제대로 만들었는지 테스트해줄 사람이 필요하거든.