r/LocalLLaMA•약 2개월 전•194•37
bitsandbytes 개발자가 새로운 양자화 방식 예고: 단일 DGX Spark에서 초당 7토큰으로 GLM 5.3 구동
bitsandbytes creator teasing new quantization method: GLM 5.3 on a single DGX Spark at 7t/s
핵심 요약
bitsandbytes 개발자가 새로운 양자화 방식을 예고했으나, 모델 규모와 실용성에 대해 커뮤니티의 회의적인 반응이 이어지고 있습니다.
- 새로운 양자화 방식 — bitsandbytes 개발자가 고성능 하드웨어에서 대규모 모델 구동 가능성을 시사함
- 실용성 논란 — 모델 크기가 너무 커서 일반적인 환경에서 구동이 불가능하다는 지적이 많음
- 양자화 품질 — 낮은 비트 수로 인한 성능 저하와 모델 이름의 신뢰성에 대한 의문 제기됨
- 커뮤니티 회의론 — 과거의 과장된 광고 사례를 언급하며 신중한 태도를 보임
너무 설레발치지는 마라. 지금까지 거창하게 홍보해놓고 막상 제대로 된 건 하나도 없었던 양자화 방식이 한두 개가 아니었으니까 적당히 걸러 들어라.
그래도 Tim Dettmers는 꽤 유명한 연구자니까 이번엔 뭐가 좀 다를지도 모르겠네. 뭐, 시간 지나보면 알겠지.
이 방식에 대한 다른 트윗인데, B300 한 장(288 GB VRAM)에서 돌아가는 DS4 Pro 영상이다: https://xcancel.com/Tim_Dettmers/status/2087624491362820364
