r/LocalLLaMA•30일 전•906•269
공식 발표! 192GB Framework
It's official! 192GB Framework
핵심 요약
Framework의 192GB 메모리 지원 모델이 공개되었으나, 낮은 메모리 대역폭에 대한 사용자들의 우려가 큽니다.
- 메모리 대역폭 논란 — 192GB라는 대용량에도 불구하고 대역폭이 낮아 추론 속도 저하가 우려됨
- 성능 비교 — 메모리 대역폭이 6년 전 출시된 RTX 3050 수준에 불과하다는 지적
- MoE 모델 활용 — Mixture-of-experts 모델을 사용하면 대역폭 한계를 어느 정도 극복 가능하다는 의견
- 가격 우려 — 고용량 메모리 SKU의 높은 가격 책정에 대한 회의적인 시각
웹사이트에서 방금 봤는데.
현재 메모리 SKU(32, 64, 128) 가격대 생각하면 메인보드 가격은 한 4,500달러 정도 할 듯.
PCIe 슬롯도 뒤쪽이 뚫려 있을 거라던데, 나도 그렇게 들었음. 설마 75W 전력 공급까지 지원하게 만들려는 건가? 작은 SKU용으로 보드 리비전 새로 나오는 건가 싶네.
