ROCm 7.13 나이틀리 빌드, Strix Halo 최적화 추가

Strix에서 Vulkan 대신 ROCm 쓰는 그 세 명한테는 진짜 도움 되겠네.

랜덤하게 패닉 안 일으키는 모델, ROCm, 커널 조합을 찾을 수만 있다면 말이지.

웃기지만 100% 맞는 말임. 8B 모델은 하루 종일 돌릴 수 있지. 근데 큰 모델 메모리에 올리기 시작하면 총 맞은 것처럼 메모리 질질 샌다고.

진심으로 하는 말이면 설정 뭔가 잘못한 거임.

Strix Halo에서 LLM 성능이 떨어지는 거 말고도 ROCm에 대한 아주 큰 불만 사항임. 특히 큰 모델 메모리에 넣었다 뺐다 할 때 하드 리셋 엄청 걸림. 5개월 동안 안 건드려봐서 모르겠는데, 마지막 경험은 그랬음.

이 바닥에서 5개월이면 엄청 긴 시간이지.

[이미지] 맞음, 피곤하네 ㅋㅋ 솔직히 따라가기 진짜 힘들다.

난 이름 유래가 rocm socm 로봇인 줄 알았는데...

내 Ryzen 7940hs는 까먹었네 😭

이런 글 많이 보이네. AMD가 확실히 분발하고 있고, 경쟁은 많을수록 좋지. 경쟁만이 장기적으로 AI를 '민주화'할 수 있는 유일한 길임.