192GB VRAM을 탑재한 Ryzen AI Max+ 495 (Gorgon Halo) 등장!

Spark 2는 그냥 개발자들 호기심 자극하는 종이 쪼가리 같은 거 말고 제대로 된 거 나왔으면 좋겠네.

소프트웨어는 계속 좋아지는 중임. 성능 제대로 뽑으려면 두 개 사는 게 답이긴 해. 대역폭 때문에 한계는 있지만 두 개 쓰면 0.5 TB/s는 나오니까 프리필도 꽤 괜찮아짐. RTX 6000 Pro는 가격은 두 배인데 VRAM은 더 적고, 그거 두 개 쓰면 전기세 감당 안 될걸.

LPDDR6 쓴다는 루머 있음. https://www.tomshardware.com/pc-components/cpus/amds-future-medusa-halo-apus-could-use-lpddr6-ram-new-leak-suggests-ryzen-ai-max-500-series-could-have-80-percent-more-memory-bandwidth

메모리 늘어나면 프롬프트 처리 속도에 큰 도움 될 듯. 이제 SSD 갈굴 필요 없이 컨텍스트 여러 개 돌리면서 프롬프트 재처리 안 해도 되니까.

개구림. 이 스레드 봐봐: https://www.reddit.com/r/LocalLLaMA/comments/1t31tk7/mistral_medium_35_128_on_amd_ryzen_ai_max_395/ AI 추론 성능(Mistral-Medium 128B) 보면 128GB 통합 메모리가 대형 모델 올리기엔 좋지만, 토큰 생성 속도가 1.57 토큰/초 수준임.

395 두 개 쓰는 애들도 마찬가지지.

GPU 똑같네. 다음 세대 나올 때까지 기다린다. 더 빠른 메모리랑 GPU 나올 때까지 존버해야지.

나도 Medusa 나올 때까지 존버함.