3090 NVLink bridges: are there clones of these? why are they so insanely expensive?
3090 NVLink 브릿지의 높은 가격과 복제품 부재에 대한 의문 및 대안 논의.
내 그래픽카드 두 개 꽂으려면 3슬롯짜리가 필요한 것 같은데, 와 씨발 이거 가격 왜 이렇게 비싸냐.
대부분의 사용자는 NVLink 브릿지의 가격이 지나치게 비싸며 추론 작업에는 실효성이 낮다고 평가하며, 대안으로 P2P 패치나 A6000 브릿지 활용을 추천하고 있습니다.
V100 카드용 NVLink 지원 보드를 만들어낸 그 똑똑한 중국인들이 3슬롯, 4슬롯 3090 NVLink 브릿지 만드는 데도 관심 좀 가져줬으면 좋겠음.
진짜 그 사람들 존경함 😭 20GB 3080 만들고 V100용 4슬롯 SXM NVLink 브릿지까지 만들고 말이야. 선전(Shenzhen) 형님들, 제발 우리를 위해 하나만 만들어줘!!
내가 본 바로는 NVLink 브릿지를 만드는 게 아님. 걔네는 V100 SXM 카드 2개를 NVLink로 돌리기 위한 어댑터 카드를 만드는 거임. PCIe 슬롯을 분할해서 쓰거나, SXM 카드 4개 중 2개를 NVLink로 연결하고 호스트랑은 케이블로 PCIe 연결하는 방식이지.
3090에 NVLink 브릿지 2개 이상은 못 씀. NVLink는 P2P 방식이니까. 4x SXM2 보드에서 NVLink가 완벽하게 연결된 걸 보는 건 V100이 NVLink를 3개 가지고 있고 보드가 그걸 라우팅해주기 때문임.
3090은 NVLink가 딱 하나임
슬롯 간격 말한 거임, 브릿지 판매글마다 그렇게 부르더라고.
3슬롯 브릿지는 슬롯 간격 때문에 가끔 필요하긴 한데 공기 흐름을 다 막아버려서 사실상 전력 제한을 빡세게 걸거나 수랭을 써야 함. 4슬롯은 공기 흐름 조금만 확보해도 되는데 매물이 거의 없고 비쌈.
그래도 nvidia-smi 출력 보면 엄청 똑똑한 엔지니어가 속도 낮춰서 4웨이 링크 구현할 수 있을지도 모른다는 생각이 듦:
nvidia-smi nvlink --status
GPU 0: NVIDIA GeForce RTX 3090 (UUID: XXXXXXXXXXXX)
Link 0: 14.062 GB/s
Link 1: 14.062 GB/s
Link 2: 14.062 GB/s
Link 3: 14.062 GB/s
GPU 1: NVIDIA GeForce RTX 3090 (UUID: XXXXXXXXXXXX)
Link 0: 14.062 GB/s
Link 1: 14.062 GB/s
Link 2: 14.062 GB/s
Link 3: 14.062 GB/s
GPU 2: NVIDIA GeForce RTX 3090 (UUID: XXXXXXXXXXXX)
NVML: Unable to retrieve Nvlink information as all links are inActive
영국에선 다들 600파운드에 팔던데 그 돈 주고 살 가치는 없음. 요즘 3090 대부분이 LLM용으로 쓰이니까 시장은 그 어느 때보다 클 텐데 말이야.
솔직히 말해서 별로 쓸모없음.
NVLink는 학습할 때나 필요하지 추론할 때는 필요 없음. 그리고 학습할 거면 그냥 B200 빌리는 게 훨씬 나음. 하이퍼파라미터 실험도 훨씬 많이 돌릴 수 있고.
3090도 학습용으로 쓸 순 있지만 추론용으로 쓰는 게 최고임. 그럴 땐 NVLink가 아예 필요 없고.
참고로 A6000용 브릿지가 3090이랑 똑같아서 호환됨. 나 작년에 한국에서 3슬롯짜리 200파운드도 안 주고 구했음.
나 3슬롯짜리 가지고 있음. 문제는 요즘 나오는 게이밍이나 하이엔드 소비자용 메인보드들은 PCIe 슬롯 간격이 4슬롯이라는 거임. 온라인 어디를 뒤져봐도 3슬롯 지원하는 Taichi 메인보드 재고를 못 찾겠더라. 다 품절임. B&H Photo에서 ASUS ProArt 겨우 찾았어. 만약을 대비해서 하나 더 사둬야 하나 싶음. 안 그러면 앞으로는 라이저 케이블 써서 오픈 케이스로 가야 할 판임.
나도 알아봤는데 나도 카드 2개 쓰려면 3슬롯이 필요함. 근데 기대 성능 향상이 디코딩에서 3~5% 정도밖에 안 됨. 프리필(prefill)은 효과가 좀 있겠지만 지금 투자할 가치는 없음.
그냥 3090 P2P 패치 공짜로 해서 성능 좀 챙기는 게 나음. 이 브릿지 시장이 너무 작아서 아무도 생산 안 할 거임.
나도 관심 있음. 클론 제품이 안 나오는 건 특허 때문인 듯 (위조품이나 클론은 압수당할 수 있으니까). 근데 오픈소스 버전이라면 살아남을 수 있지 않을까?
사실 어디서 본 거 같은데, 3090이 NVLink용 P2P를 쓸 수 있게 해주는 비공식 바이오스 패치가 있음. 어디서 봤는지 기억은 안 나는데 아마 여기서 본 거 같음.
아니면 텐서 병렬(tensor parallel) 쓰면 되지 ㅋㅋ 모드 드라이버랑 P2P로 우회할 수도 있고. PCIe 4.0도 꽤 빨라서 별로 아쉽진 않을걸.
시도해 봤는데 결과는 별로였음. NVLink가 확실히 지원이 더 좋음... 게다가 Linux kernel이랑 nvidia kernel 업데이트될 때마다 패치를 다시 해줘야 함. 부트로더에 커스텀 서명 키도 추가해야 하고. 그냥 개귀찮음.
https://github.com/tinygrad/open-gpu-kernel-modules - 이거인 듯, 드라이버용 패치임.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Claude Opus 5.5의 성능 저하 여부를 실시간으로 추적하는 오픈소스 벤치마크 도구 'LiveNerf'가 공개되어 큰 호응을 얻고 있습니다.
Claude Opus 5.5의 성능 저하 여부를 실시간으로 추적하는 오픈소스 벤치마크 도구 'LiveNerf'가 공개되어 큰 호응을 얻고 있습니다.