AMD touts the unified memory architecture
AMD의 통합 메모리 아키텍처에 대한 기대와 함께, 낮은 메모리 대역폭으로 인한 성능 저하를 우려하는 목소리가 높습니다.
AMD는 UMA가 차세대 아키텍처를 형성하는 데 도움이 될 것이라고 믿고 있음
이 기사는 Ryzen AI MAX 400 시리즈를 언급하는데, 이는 Gorgon Halo 시스템으로 더 잘 알려져 있을 것임.
이 주제에 대한 이전 논의들:
AMD의 통합 메모리 아키텍처에 대한 기대와 함께, 로컬 환경에서 대형 모델을 구동하는 성능과 최신 모델 출시에 대한 사용자들의 의견이 오가고 있습니다.
통합 메모리가 1TB라도 메모리 버스가 128비트밖에 안 되면 모델 구동 성능은 개판일 거임.
Strix Halo 사용자로서 동감함. 기능은 다 있는데 속도가 하나도 안 나옴.
나도 똑같은 사기에 당했지... 노트북은 훌륭하고 96GB 메모리로 '대형 모델 구동 가능'하다고 광고하지만, 실제로는 타자기만큼 느림.
확산 모델(diffusion models)이 더 좋아지기 전까지는 맞는 말임. AI 효율성 문제는 하드웨어에 가장 큰 타격을 줄 거니까.
diffusion model은 연산 의존도가 더 높아서 지금 상태의 strix halo에는 별로 도움이 안 됨. 더 많은 flops가 필요함.
대규모 모델, 빠른 TG, 아니면 합리적인 가격*, 이 셋 중 두 가지만 고를 수 있음. (*)대부분의 사람들에겐 여전히 비싸다는 건 알지만, 엔터프라이즈급 장비가 수만 달러씩 하는 걸 생각하면 상대적으로는 합리적인 거지.
가격 미쳤는데, 만약 노트북에 5천에서 6천 달러 쓸 돈이 있다고 치자. 선택지는 맥밖에 없음. 우리가 직면한 한 가지 문제는 x86 아키텍처가 이런 종류의 작업에는 잘못됐다는 거임.
뭐가 느리다는 거야? 난 Qwen2.5 7B를 초당 7토큰으로 돌리고 있었는데, MTP 도입되고 12토큰으로 늘었고, 추가 최적화 거치니까 지금은 초당 20토큰 나오거든. 내가 쓰기엔 충분히 빨라.
내 EVO-X2에서 Ubuntu, llama.cpp Vulkan, MTP 조합으로 Qwen 3.6 27B 돌리니까 25 t/s 정도 나오더라.
llama.cpp로 Qwen 3.6 35B3B 돌리면 초당 50토큰 정도 나옴. 솔직히 실사용하기 딱 좋음. 지금까지 에이전트(코딩)용으로 써본 모델 중엔 최고임.
근데 AMD가 저런 소리 하는 건, Ryzen AI 400 시리즈 유출된 스펙 보면 완전 사기 수준임. 난 차라리 M5 칩을 쓰겠음.
나도 35B A3 모델로 똑같은 속도 나옴.
최신 최적화가 뭔데?
Llama.cpp가 업데이트를 많이 하긴 했는데, 생각해보니 마지막으로 성능 뛴 건 Q8에서 Q4로 바꿨을 때였던 것 같아.
strix halo가 가격 대비 메모리 용량이 커서 큰 모델 돌리기엔 좋으니까 님 선택을 비판하려는 건 아님. 근데 비교하자면, qwen27B 모델은 3090으로 돌리는 게 가격은 절반이고 속도는 두 배임. 훨씬 빠른 prompt 처리 속도는 말할 것도 없고.
Qwen에서 122B A10 모델이 포함된 3.5 시리즈를 출시했는데, 내 Strix Halo 128GB에서 꽤 괜찮은 속도로 돌렸음. 그러니까 3.6이나 3.7 버전에서도 비슷한 모델이 나올지도 모르지.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
Cursor의 모델 성능과 사용량 제한에 실망한 사용자가 Claude로 완전히 전환하며 겪은 경험을 공유함.
Cursor의 모델 성능과 사용량 제한에 실망한 사용자가 Claude로 완전히 전환하며 겪은 경험을 공유함.
