USB4 RDMA seems doable
USB4를 활용한 RDMA 구현 가능성을 다룬 블로그 글과 이에 대한 커뮤니티의 기술적 논의.
방금 이 블로그를 찾았음: https://blog.hellas.ai/blog/thunderbolt-ibverbs/
Strix Halo 두 대에서 시연한 실험적인 RDMA 구현임. 검색해 봤는데 이전에 올라온 적이 없는 것 같음?
모든 USB4 호스트에서 작동할 수 있다면 엄청난 일이 될 듯.
USB4를 활용한 RDMA 구현 가능성에 대해 기술적 사양과 확장성 측면에서 활발한 토론이 이어지고 있습니다.
리눅스 커널 7.2에 USB4STREAM 지원이 들어올 예정임: https://www.phoronix.com/news/USB4STREAM-In-Linux-7.2
이게 메인라인에 들어가면 분산/RPC/클러스터 설정을 위한 더 빠르고 지연 시간이 짧은 통신을 구현하기 쉬워지지 않을까?
구글에서 딱 그걸 찾고 있었는데, 패치 노트에는 예시로 파일 공유만 언급되어 있더라고.
파일 공유만 언급되어 있다는 건
설명으로 미루어 볼 때 아주 빠른 바이트 스트림이라는 뜻이겠지... 그러니까 llama.cpp 같은 데서 RPC/클러스터링용 커스텀 프로토콜을 구현하면 네트워크/IP 추상화 연결보다 훨씬 빠르지 않을까?
그거 썬더볼트 전용이지 USB4는 아닐걸. USB4는 여러 프로토콜을 실어 나를 수 있는 커넥터일 뿐임. USB4 자체에는 RDMA가 포함 안 돼. 썬더볼트에는 있지만. 근데 모든 USB4가 썬더볼트를 지원하는 건 아님.
틀렸음. 모든 USB4는 썬더볼트지만, 모든 USB-C나 썬더볼트가 USB4인 건 아님.
USB 표준 위원회는 사람 헷갈리게 하는 걸 너무 좋아함.
USB4는 최소 TB3를 포함하고, TB4랑 TB5는 USB4 기반으로 만들어짐.
모든 USB4 호스트 기기에서 지원해야 하는 TB3의 핵심 기능이 바로 PCIe tunneling인데, 이게 RDMA를 할 때 쓰는 거임.
이건 원래 가능했던 건데 개념 증명조차 없었음. 누군가 시도했다니 기쁘네.
우리 같은 Strix Halo 흑우들에겐 진짜 대박 소식이네
이더넷으로도 RDMA 할 수 있는 거 알지?
물론 드라이버가 지원한다면 말이지.
여기선 추가 하드웨어 없이 40 Gbps 링크를 말하는 거임.
노드당 40gbps면 소규모 클러스터 돌리기엔 좀 부족함.
맥 미니나 스튜디오 여러 대 연결해서 클러스터 만드는 거랑 똑같은 짓인데, 그냥 내장 USB/TB4를 같은 목적으로 쓰는 거임. 멀티 GPU 머신 구축하는 것처럼 확장되지도 않고, 확장성 훨씬 구림.
RDMA 쓰면 충분함. 레이턴시가 낮으니까. 텐서 병렬 처리는 대역폭보다 레이턴시 영향을 더 많이 받거든.
만병통치약은 아니지, 당연히. 그래도 확실히 속도 향상은 있어, 적어도 몇몇 경우에는 말이야: https://www.jeffgeerling.com/blog/2025/15-tb-vram-on-mac-studio-rdma-over-thunderbolt-5/
어, 나도 봤어. Jeff 블로그 팔로우 중이거든. 그 사람이 거기 쓴 돈 생각하면, 다른 거 했으면 가성비 훨씬 좋았을 텐데. 존경하긴 하지만, 안타깝게도 그 사람은 골수 애플 신도라.
40gbps는 여전히 업계에서, 적어도 추론 쪽에서는 널리 쓰임. 클러스터 설계나 LLM 배포는 보통 노드 레벨에서 인터커넥트를 고려해 적절한 경계를 설정하거든. 노드 내부에서 NVLink에 비빌 수 있는 Infiniband는 없음. 현재 운영 중인 아주 큰 모델들은 전부 MoE 방식이고, 전문가(expert)를 샤딩하거나, 전문가 호출을 풀링하거나, 경계를 줄이기 위해 퓨전하는 등 대역폭 문제를 무시할 수 있게 만드는 방법이 많음. 그런 상황에서 진짜 필요한 건 레이턴시지…
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.