r/LocalLLaMA•2개월 전•146•29논쟁

세계 최초(?) 실망스러운 AMD Ryzen AI Halo 클러스터

World's First(?) Underwhelming AMD Ryzen AI Halo Cluster

핵심 요약

LTT Labs가 AMD Ryzen AI Halo 두 대를 클러스터링해 성능을 테스트했으나, RPC 방식의 한계로 기대 이하의 결과를 얻었습니다.

클러스터링 실험 — AMD Ryzen AI Halo 두 대를 연결해 성능 향상을 시도함
RPC 방식 한계 — AMD 가이드에 따른 RPC 클러스터링이 성능 저하를 유발함
기술적 비판 — 커뮤니티는 RDMA와 vLLM 사용이 훨씬 효율적이라고 지적함
향후 과제 — 더 나은 연결 방식과 최적화된 클러스터링 환경 구축이 필요함

lttlabs.com

원문 사이트로 이동

LTT Labs는 최근 테스트를 위해 리눅스 버전의 AMD Ryzen AI Halo를 받았지만, 알고 보니 AMD는 윈도우 버전을 보낼 예정이었습니다. 이런 불운 덕분에 저희는 짧은 기간 동안 두 대의 Ryzen AI Halo를 보유하게 되었고, 이를 클러스터링하고 싶은 유혹을 참을 수 없었습니다. 두 대를 사용하면 마법처럼 성능이 더 좋아질 것이 분명했으니까요.

저희는 AMD의 RPC 클러스터링 AI 플레이북을 따라 해보면서 몇 가지를 배웠지만, 동시에 더 많은 의문점도 생겼습니다. 구체적인 결론은 내리지 못했지만, 다른 분들의 시간을 절약하거나 논의를 촉발하기 위해 결과를 공유합니다!

이 AMD Ryzen AI Halo는 테스트를 위해 AMD로부터 제공받았지만, 이전 테스트나 이번 기사에서 AMD의 후원이나 검토는 없었습니다.

저희는 이번 탐구를 통해 얻을 수 있는 생각이나 결론, 혹은 향후 개선할 방법이 있다면 매우 알고 싶습니다!

원문

커뮤니티 목록

r/LocalLLaMA•2개월 전•146•29논쟁

세계 최초(?) 실망스러운 AMD Ryzen AI Halo 클러스터

World's First(?) Underwhelming AMD Ryzen AI Halo Cluster

핵심 요약

LTT Labs가 AMD Ryzen AI Halo 두 대를 클러스터링해 성능을 테스트했으나, RPC 방식의 한계로 기대 이하의 결과를 얻었습니다.

클러스터링 실험 — AMD Ryzen AI Halo 두 대를 연결해 성능 향상을 시도함
RPC 방식 한계 — AMD 가이드에 따른 RPC 클러스터링이 성능 저하를 유발함
기술적 비판 — 커뮤니티는 RDMA와 vLLM 사용이 훨씬 효율적이라고 지적함
향후 과제 — 더 나은 연결 방식과 최적화된 클러스터링 환경 구축이 필요함

lttlabs.com

원문 사이트로 이동

이 AMD Ryzen AI Halo는 테스트를 위해 AMD로부터 제공받았지만, 이전 테스트나 이번 기사에서 AMD의 후원이나 검토는 없었습니다.

저희는 이번 탐구를 통해 얻을 수 있는 생각이나 결론, 혹은 향후 개선할 방법이 있다면 매우 알고 싶습니다!

주요 댓글

r/localllama

대부분의 댓글은 RPC 방식의 한계를 지적하며 RDMA와 vLLM을 활용한 더 효율적인 클러스터링 방법을 제안하고 있으며, 실험의 의의는 인정하지만 기술적 접근 방식에 대해서는 비판적인 반응입니다.

RPC는 별로임. 프로덕션 클러스터는 그렇게 안 돌아감. 제대로 하려면 vLLM을 엔진으로 쓰고 USB4를 통한 RDMA를 써야지. 문제는 대역폭보다는 지연 시간임. 지연 시간을 합리적이고 성능이 나오는 수준으로 낮추려면 RDMA가 필수임. DGX Spark에 ConnectX-7 NIC가 들어가는 이유가 바로 이거임.

Intel e810(약 350달러)이 Strix Halo RDMA 클러스터 연결 장치임. Minisforum MS-S1 Max 한 쌍이면 아주 깔끔한 솔루션이 됨. kyuz0/Donato의 훌륭한 작업 덕분에 배운 것도 많고 시간도 엄청나게 절약했음. 그는 내 진정한 Strix 영웅임. 그 사람 buymeacoffee 페이지도 있음.

맞음. 그 하드웨어에는 추가 NIC를 다는 게 확실히 옵션이 됨. 안타깝게도 AI Halo는 NIC를 달 공간이나 연결 단자가 없음.

사실 그건 틀린 말임. ai395용 보드가 뭔지에 따라 다르지만, PCIe 4.0x4 슬롯이 있는 경우가 많음. 이걸 쓰면 더 높은 대역폭의 NIC를 사용해서 네트워크를 통한 RDMA용 RCCL을 쓸 수 있는데, 이건 썬더볼트 RDMA보다 훨씬 나음. 내 생각엔(확실하진 않지만) ai395 플랫폼은 썬더볼트 4만 지원해서 썬더볼트 RDMA는 안 될걸? 이 스레드 앞쪽에서 언급했듯이 Donato는 Strix 영웅이고 관련해서 좋은 영상도 많이 올렸음.

AI Halo는 Strix Halo 기반의 퍼스트 파티 개발 플랫폼임. Strix Halo 시스템 중에는 애드온 카드를 꽂을 수 있는 PCIe 슬롯이 있는 것들도 있지만, Ryzen AI Halo는 그렇지 않음.

인정함, 내가 틀렸네. 이게 Strix Halo 전반이 아니라 AMD Halo 박스 전용이라는 걸 대충 보고 넘겼음.

https://github.com/kyuz0/amd-strix-halo-vllm-toolboxes/blob/main/rdma_cluster/setup_guide.md

당신이 처음이 아님. Donato 같은 사람들은 우리보다 훨씬 앞서 있으니, 직접 시도하면서 고생하지 말고 그 사람 가이드를 따라 하는 게 시간 아끼는 길임 :)

Donato의 자료는 정말 인상적임. 하드웨어가 있을 때 직접 해볼 기회는 없었지만, 다음에 기회가 되면 무조건 따라 할 거임!

수정: 내가 답글 달고 나서 댓글이 수정된 것 같은데, AI Max+ 395 머신을 클러스터링한 게 우리가 처음이 아니라는 건 알고 있음. 그냥 AMD의 새로운 Ryzen AI Halo로 한 게 처음이라는 거지. 두 대를 가지고 테스트할 시간이 별로 없어서 그냥 '순정' 설정으로 테스트했음!

왜 비추가 달리는지 모르겠네. 흥미로운 실험 같은데. 본문에서 명시했듯이 실용적이진 않지만, 확장성에 대한 결론을 내리기엔 흥미로운 시도임.

사람들이 화난 이유는 이 사람들이 RDMA 대신 RPC를 써서 클러스터링해놓고, 훨씬 더 좋은 방법이 있다는 건 언급도 안 한 채 칩 성능이 쓰레기인 것처럼 행동해서 그런 것 같음. 연구소라면 왜 결과가 쓰레기인지 알았어야 하고, 테스트의 한계가 전송 방식으로 TCP/IP를 쓴 데 있다는 걸 인정했어야 함. 그래서 결과가 끔찍하게 나온 거임.

원문r/LocalLLaMA