r/LocalLLaMA•15일 전•77•10
마이크론의 메모리 월 차트: 컴퓨팅 성능은 2년마다 3배 증가, HBM 대역폭은 2배 미만
Micron's memory wall chart. Compute up ~3x every two years, HBM bandwidth under 2x
핵심 요약
컴퓨팅 성능 증가 속도가 메모리 대역폭 개선 속도를 앞지르면서 발생하는 병목 현상과 그 해결책에 대한 분석.
- 메모리 병목 현상 — 컴퓨팅 성능은 3배씩 성장하지만 HBM 대역폭은 그에 미치지 못함.
- 디코드 최적화 — 메모리 제한적인 디코드 방식을 컴퓨팅 제한적인 방식으로 전환하려는 시도.
- 메모리 기술 혁신 — 메모리 근접 배치 및 메모리 내부 연산 유닛 탑재 등 해결책 모색.
Hot Chips 2026에서 Raghu Sreeramaneni가 발표한 메모리 튜토리얼 내용이다. 위쪽 라인은 TPU v3부터 R200까지의 정규화된 TFLOPS고, 아래쪽 라인은 HBM2e부터 HBM4까지인데 둘 다 로그 스케일이라 실제 간격은 보이는 것보다 훨씬 넓다.
오른쪽에 있는 박스 3개는 지금 사람들이 실제로 만들고 있는 해결책들이다. 연산 장치 옆에 메모리를 두거나, 더 짧은 링크로 메모리를 더 가깝게 붙이거나, 아니면 메모리 자체에 곱셈 연산 유닛을 박아 넣는 방식이지. 삼성은 마지막 방식을 LPDDR5X에 적용해서 내놨는데, Llama 3.1 8B 모델에서 토큰 처리 속도가 3.01배 빨라졌다고 하더라.
전체 분석 (이 슬라이드는 메모리 챕터에 포함됨): https://allaboutchips.com/#memory
