r/LocalLLaMA•5개월 전•26•66
혹시 5060 Ti 4개로 구성한 사람 있음?
Anyone with 4x 5060ti based setups?
핵심 요약
5060 Ti 4개와 3090 2개 구성 중 LLM 추론 성능을 고민하는 글.
- 하드웨어 구성 — 5060 Ti 4개와 3090 2개의 가성비 및 성능 비교를 고민함.
- 성능 우려 — 4개의 GPU 사용 시 발생하는 PCIe 대역폭 및 텐서 병렬 처리 효율을 걱정함.
- 커뮤니티 반응 — 질문의 중복 여부와 검색 활용에 대한 사용자 간의 의견 충돌이 발생함.
- 기술적 조언 — 다중 GPU 구성 시 발생하는 오버헤드와 VRAM 관리의 어려움에 대해 경고함.
현재 RTX 5060 Ti 2개를 사용 중인데, 마침 쿼드 GPU를 지원하는 하이엔드 Z890 메인보드(기존 B860 교체)와 추가 GPU를 저렴하게 구할 기회가 생겼습니다(M.2 어댑터 2개 사용, 최종적으로 GPU 1개는 5.0 x8, 나머지는 5.0 x4로 CPU 레인을 통해 작동).
할인된 RTX 5060 Ti 16GB 2개 가격은 중고 RTX 3090 1개 가격(대부분 1000유로 정도)과 비슷합니다.
이런 쿼드 5060 구성이 Qwen 3.6 27B 같은 고품질 양자화 모델(int8/fp8 등)을 돌릴 때, 프리필 및 생성 속도 면에서 듀얼 RTX 3090과 비교하면 어떤지 궁금합니다.
RTX 5060 Ti는 메모리 오버클럭(+3000Mhz)이 쉬워서 대역폭이 500GB/s에 육박하므로 GB당 대역폭은 전반적으로 꽤 비슷하고, FP8 TFLOPS를 봐도 5060이 앞섭니다. 하지만 텐서 병렬 처리가 완벽하게 스케일링되는 건 아니라서 결과가 어떨지 궁금하네요.
