r/LocalLLaMA•4개월 전•59•61

드디어 - 4xRTX 5060TI 완성

Finally - 4xRTX 5060TI

핵심 요약

4개의 RTX 5060 Ti 16GB를 활용한 LLM 추론 시스템 구축기.

시스템 구성 — MSI MEG Z890 보드와 M.2 어댑터를 활용한 쿼드 GPU 환경 구축함.
성능 최적화 — 메모리 오버클럭과 P2P 커널 모듈을 통해 대역폭 및 추론 속도 향상 시도함.
목표 모델 — Qwen 3.6 27B Q8 모델을 고속으로 구동하는 것을 목표로 함.
하드웨어 비용 — 중고 및 할인 부품을 조합하여 효율적인 가성비 시스템을 구성함.

얼마 전에 5060ti 16gb 4개 싸게 구해서 시스템 하나 맞추겠다고 글 썼었지. CPU 쿨러 장착하다가 문제 생겨서(플라스틱 핀 달린 기본 쿨러 재활용하다가 개고생함) 다 밀렸는데, 드디어 Ubuntu 26.04 새로 깔고 시스템 돌리는 중이다.

이번에 할인하길래 MSI MEG Z890 Unify-X 보드 하나 집어왔는데, 이게 핵심이야. M.2 포트 2개를 PCIe 5.0 x4 CPU 레인으로 돌릴 수 있고, PCIe 슬롯도 각각 8x, 4x(이것도 CPU 레인) 지원하거든. "겨우 x4냐?"라고 할 수도 있는데, PCIe 5.0은 4.0보다 속도 두 배니까 사실상 PCIe 4.0 x8이랑 똑같다고 보면 됨.

집에 5060ti 총 5개 있는데, 하나 빼고 다 메모리 오버 +6000MTs(+3000Mhz)까지 먹더라. 이 카드들 메모리 대역폭이 진짜 중요한데 오버 잘 먹어서 개꿀임. 마지막 하나는 "겨우" 5850MTs(+2925Mhz) 들어가긴 하는데, 암튼 이 카드들 메모리 오버 수율은 확실히 괜찮은 듯.

GPU 2개 더 꽂으려고 https://www.amazon.de/dp/B0FWJXDLHQ 이 어댑터 2개 썼다. 파워는 총 2개 썼는데, 하나는 Y자 분배기로 어댑터 2개에 물리고, 나머지 하나는 메인 시스템 전원용임.

aikitoria/open-gpu-kernel-modules: NVIDIA Linux open GPU with P2P support 이거에 맞는 엔비디아 드라이버 방금 깔았고, 이거 최적화 적용했을 때랑 안 했을 때 벤치마크 좀 돌려볼 생각이다.

아직 소프트웨어 세팅이 다 안 끝나서 벤치마크 결과는 나중에 올릴게. 그냥 M.2 어댑터 생각보다 잘 돌아간다는 소식 공유하고 싶었음.

혹시 세팅이나 벤치마크 관련해서 팁이나 추천할 거 있으면 좀 알려줘라. 일단 목표는 Qwen 3.6 27B를 Q8(vllm INT8도 생각 중인데 llama.cpp 최신 버전도 써보고 싶음)로 돌려서 속도 좀 뽑아내는 거임.

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•59•61

드디어 - 4xRTX 5060TI 완성

Finally - 4xRTX 5060TI

핵심 요약

4개의 RTX 5060 Ti 16GB를 활용한 LLM 추론 시스템 구축기.

시스템 구성 — MSI MEG Z890 보드와 M.2 어댑터를 활용한 쿼드 GPU 환경 구축함.
성능 최적화 — 메모리 오버클럭과 P2P 커널 모듈을 통해 대역폭 및 추론 속도 향상 시도함.
목표 모델 — Qwen 3.6 27B Q8 모델을 고속으로 구동하는 것을 목표로 함.
하드웨어 비용 — 중고 및 할인 부품을 조합하여 효율적인 가성비 시스템을 구성함.

아직 소프트웨어 세팅이 다 안 끝나서 벤치마크 결과는 나중에 올릴게. 그냥 M.2 어댑터 생각보다 잘 돌아간다는 소식 공유하고 싶었음.

주요 댓글

r/localllama

작성자의 4x 5060ti 구성에 대해 사용자들은 가성비와 성능 스케일링 가능성에 큰 관심을 보이며, 기술적 사양과 병목 현상에 대해 심도 있는 토론을 나누고 있습니다.

nvidia의 simpleP2P 유틸리티로 p2p가 활성화됐는지 꼭 확인해. 안 됐으면 aikitoria 레포의 이슈 섹션으로 가봐. vladie 설정이 내 2x5060ti 셋업에서 완벽하게 작동했음.

내 5060ti x4는 llama.cpp로 qwen 3.6 35b 돌릴 때 최대 120tk/s 나옴. 아주 만족함.

64GB VRAM이라 신나서 3.6 27b dense 모델을 kvcache 최대로 넣을 수 있을 줄 알았는데, 안 되더라.

잠깐, 왜 27b 모델을 못 돌린다는 거야?

그래, 그건 말이 안 되네.

-2

vllm min-maxing 하려고 그러는 거지

내 쿼드 5060ti에서는 qwen 3.6 27b를 kv cache 양자화 없이 최대 컨텍스트로 돌리면 40~60 t/s 나옴. vllm이 pp는 더 낫지만, llamacpp가 로딩이 더 빠르고 tg에서 더 일관적임.

vllm 부팅 로그(llamacpp도 비슷할 텐데 중요한 차이는 있음)를 보면 fp16에서 총 캐시로 거의 400k 토큰 컨텍스트, fp8에서는 거의 600k까지 들어갈 수 있을 거야. 그러니까 거의 꽉 찬 컨텍스트로 동시 사용자 처리가 가능할 듯.

수정: 이건 fp8 모델 기준...

5060ti 치고 40-60t/s면 좀 낮은 거 같은데. 병목 구간이 어디임?

난 5060ti 4개 파이프라인으로 돌렸을 때 16 tk/s 정도 나왔으니까, 병렬 처리로 40-60이면 납득할 만하네.

음, 일리가 있네. 대략 5090 1장과 비교할 만한 연산량이고, 5090은 MTP 없이 27B 모델에서 60(??) 정도 나오니까. 그럼 문제는... MTP는 어떨까 하는 거지.

아 좋은 지적이야, 테스트한 모델에 MTP가 없었다는 걸 깜빡했네. 내일 아침에 테스트해 봐야겠다.

설령 어떤 이유로 MTP가 안 된다고 해도... 이거 꼬마 GPU 4장으로 4배 스케일링이 완벽하게 되는 거 아냐? 400달러짜리 GPU 4장으로 로컬 LLM 추론용 64GB 5090을 만드는 셈인데, 진짜 미래에 살고 있네. 가격 오르기 전에 얼른 GPU 쟁여둬야겠다.

조심해, 27B 모델 퀀트 버전을 생각하는 거야 아니면 MoE 모델을 생각하는 거야? 27B 덴스 모델 Q8은 크기가 30GB 정도거든. 로드하고 나면 KV 캐시도 20GB 정도 차지하고. 그러니까 처리해야 할 데이터가 50GB 이상이야. 5060ti 구성에서 40-60t/s면 꽤 괜찮은 수준이지.

내 말은 5060ti가 덴스 27B 모델에서 40-60tps 이상을 뽑아낼 연산량과 메모리 대역폭을 갖췄다는 뜻이야. 그래서 병목 현상이 메인보드에 있다고 가정하고, 그게 사실인지, 그리고 작성자가 어떤 보드를 쓰는지 궁금했어.

계산 근거를 보여줘 봐. 메모리 대역폭은 약 450GB/s야. 모델 크기(ud_q8_k_xl)는 35.8GB고. 450/35.8=12.57t/s가 기본이지. 이제 MTP, 텐서 병렬 처리, n-gram 재사용을 써서 40-60t/s까지 끌어올릴 수 있는 거고. 작성자는 Gen5 연결이랑 P2P 드라이버를 써서 조금 더 뽑아낼 수도 있겠지만, 다 합쳐도 한 80t/s 정도가 한계일 것 같아. 너는 얼마나 더 빨라질 거라고 생각해? 이 정도 구성이면 메모리 대역폭이...

난 3090 2개로 Qwen3.6 Q6 모델 최대 컨텍스트로 돌리고 있는데 꽤 잘 돌아감. Vram은 40GB 정도 먹더라.

원문r/LocalLLaMA