4x Radeon AI PRO R9700 + 2x RTX 3090 on one x16 slot, using a PCIe switch
PCIe 스위치를 활용해 제한된 슬롯에 다수의 GPU를 연결하는 하드웨어 구성 방식과 기술적 난관에 대한 논의입니다.
doug.sh
원문 사이트로 이동
PCIe 스위치를 사용해 단일 슬롯에 여러 GPU를 연결하는 기술적 가능성에 대해 사용자들 사이에서 놀라움과 기술적 토론이 이어지고 있음.
뭐... 뭐야? 컴퓨터가 맛탱이 안 가고 이게 어떻게 돌아가는 거임???
그러니까 지금 일반 메인보드, 예를 들어 구형 z490 같은 거에 PCIe 16x 4개랑 PCIe 8x 2개를 PCIe 16x 슬롯 하나에 꽂았는데... 그게 진짜 풀 속도로 돌아간다고?????
스위치 안에서 일어나는 모든 일은 자체적으로 처리되고, 스위치에서 메인보드(랑 CPU) 나머지 부분으로 연결되는 브릿지는 여전히 총 64GB/s임.
자체적으로 처리된다는 거 진짜 흥미롭네! 스위치 내부 트래픽 속도는 얼마나 빠름? PCIe 4보다 빠르다고?
질문 받아줘서 고마워. 진짜 흥미로운 발견이네! 왜 아직 이걸 쓰는 사람이 별로 없는지 궁금함.
진짜 꽤 멋지네. 기사나 몇몇 댓글에서 설명한 흥미로운 점들은 다 제쳐두고, 내가 '예상'하기에 시간이 좀 걸릴 것 같은 유일한 부분은 모델을 메모리에 처음 로드할 때일 거야. 하지만 전체적인 아이디어가 Qwen3.8-27B를 스왑 없이 메모리에 계속 유지하려는 것 같으니, 그 정도는 감수할 만한 작은 대가지.
그 특정 모델/양자화 버전의 경우, radiance가 시작되는 데 약 25초가 걸리는데, 그중 약 10초는 TP=4를 위해 가중치를 재배열하는 과정을 포함해 약 24GB의 가중치를 메모리에 로드하는 데 쓰이는 것 같음.
왜 3090에서는 P2P가 안 됨?
두 가지 이유가 있음... 주소 공간이 부족하고, gpu_unlock 모드는 순정 드라이버가 필요한데 이게 소비자용 카드에서 P2P를 지원 안 함. PCIe 주소 지정에 관해 다룰 다른 포스트를 준비 중임. 생각했던 것보다 더 깊게 공부하게 됐네.
스위치가 진짜 답이지.
예시 좀 보여줄 수 있어?
내 야매 조립 피씨가 이걸 좋아하네
스위치는 하이브리드 추론만 빼면 아주 잘 작동함. PCIE -> CPU 포트에서 병목 현상이 생기거든. 누가 여러 업스트림 포트를 통합해서 처리하는 스위치 좀 만들어줬으면 좋겠음.
헤, 나도 PLX+USB4로 노트북에 테슬라 V100 2개 연결할 때 똑같은 짓 했음 ㅋㅋ. 이틀 동안 문제 해결하고 커널 재컴파일하느라 죽는 줄 알았네. 결국 pci=realloc이랑 부팅 후에 연결하는 걸로 해결됐는데, 그 결론에 도달하기까지가 진짜 고통이었음 ㅋㅋ
p2p 드라이버에서 gpu_unlock을 강제로 적용하는 꼼수를 쓸 수는 있는데, 반대 방향으로는 안 될 거다.
왜 순정 드라이버가 필요한 거지? 난 4x3090에서 p2p 오픈 드라이버랑 gpu_unlock 모듈 돌리고 있는데.
주소 공간 부족한 건 바이오스 문제야. 나도 2080ti는 모듈 하나 더 추가해야 해서 결국 못 돌렸어. 언젠간 되겠지 뭐.
PCIe 부하가 적은 호스트 머신을 쓸 수 있게 해주고, CPU를 거치지 않고 GPU끼리 P2P 통신을 할 수 있게 해주거든. 난 Strix Halo 머신에 PCIe 스위치를 달아서 호스트랑은 4.0 x4로만 연결했는데, R9700끼리는 스위치를 통해 5.0 x16으로 직접 통신하게 만들었어. 이 글의 작성자는 AM4 플랫폼을 쓰는데, 원래 CPU에서 나오는 PCIe 레인이 20개로 제한적이거든. 근데 스위치에 달린 GPU 6개끼리 P2P 통신을 할 수 있게 된 거지.
Qwen3.8 Flash Next 모델을 활용해 Three.js, Playwright, FFmpeg 조합으로 모션 그래픽 영상을 제작한 사례입니다.
Qwen3.8 Flash Next 모델을 활용해 Three.js, Playwright, FFmpeg 조합으로 모션 그래픽 영상을 제작한 사례입니다.
AI의 안전성과 초지능 개발의 위험성에 대해 무장 드론 비유를 들어 회의적인 시각을 공유하는 게시물입니다.
AI의 안전성과 초지능 개발의 위험성에 대해 무장 드론 비유를 들어 회의적인 시각을 공유하는 게시물입니다.
