RTX 5060 Ti 2개 구성 셋업 공유

지난 몇 달 동안 하네스랑 엔진 이것저것 갈아타면서 삽질하다가 드디어 괜찮은 조합을 찾았다. 처음엔 LM Studio + Copilot 확장 프로그램으로 시작했는데 결국 여기까지 왔네. 5060 Ti 두 장 쓰는 형들을 위해 몇 가지 팁을 남겨둠. 이 카드들은 프리필(prefill)이 진짜 고통이라 하드웨어 세팅이 중요한데, 아래 조건은 꼭 맞춰라.

CPU 레인에 GPU 두 장 다 꽂을 수 있는 메인보드. CPU에 직접 연결된 슬롯 두 개를 쓰거나, PCIe 분기(x8/x8)를 지원하는 x16 슬롯을 써야 함. 예전에 두 번째 카드를 칩셋에 물려놨었는데, CPU 레인으로 옮기니까 첫 토큰 생성 시간(TTFT)이 2.5배 빨라지고 배치 처리량도 두 배로 뛰더라.

시스템 화면 출력용으로 저전력 GPU 하나 따로 달아라. 5060 Ti 중 하나가 모니터 출력까지 담당하면 VRAM을 2~3GB씩 처먹는데, 레이어 분할이 균등하게 들어가니까 나머지 카드도 똑같이 VRAM을 날려 먹음. 그만큼 컨텍스트 손해 보는 거임.

모델: 이건 블랙웰(Blackwell) 카드니까 NVFP4 양자화 모델을 써야 프리필이랑 디코드 성능이 잘 나옴.

내가 쓰는 세팅: capy-flash(구 ninfer-tp2) + OpenCode, Qwen3.8-27B NVFP4 모델을 텐서 병렬(tensor parallel)로 두 카드에 나눠서 돌리고, MTP 추론 가속이랑 int8 KV 캐시 적용함. 176K 컨텍스트에서 디코드 70~95 t/s, 프리필 1,500 t/s 정도 나옴(짧은 프롬프트는 3,500~4,000 t/s). 풀 컨텍스트까지 땡길 수 있는데, 카드가 세 장이 아니라서 여기까지만 함.

지금은 PCIe Gen4 라이저 케이블이 없어서 Gen3로 돌리는 중임(가지고 있는 긴 라이저가 Gen3 규격이라 두 번째 슬롯에 꽂으면 Gen4에서 뻗어버림). 카드 간 프리필 대역폭이 5~7 GB/s 정도 나오는데, 이게 Gen3 x8 한계치 근처라 Gen4로 바꾸면 짧거나 중간 길이 프롬프트에서 프리필 성능이 30~60% 정도 오를 것 같음. 컨텍스트가 아주 길어지면 어텐션 연산이 병목이라 차이는 좀 줄어들 거고. 디코드 성능은 비슷할 듯.

P2P: (패치된 오픈 드라이버로) 활성화할 수 있긴 한데, 디코드 성능 5% 정도 오르는 게 전부고 프리필엔 영향 없음. 5060 Ti는 쿠다 코어가 4.6K 정도라 디코드 병목은 링크가 아니라 연산 성능임.

하네스: 난 OpenCode 쓰는데, 솔직히 하네스는 뭘 쓰든 큰 상관없는 듯. 다른 하네스들은 긴 작업 돌리면 컴팩션 때문에 컨텍스트 시프트 터져서, 집에 오면 "context limit reached" 뜨면서 뻗어있기 일쑤였음. OpenCode는 컴팩션이 잘 돼서 3일 내내 돌려도 멀쩡하더라.

세팅: 2x RTX 5060 Ti 16GB, Ryzen 7 5800X, B550(x8/x8 분기), capy-f NVFP4, int8 KV 캐시

컨텍스트별 프리필 성능 (단일 요청, Gen3 x8/x8 CPU 직결, P2P 켬)

Prompt tokens	TTFT	Prefill	Decode
2k	0.5 s	3,860 t/s	83 t/s
8.5k	2.0 s	4,270 t/s	73 t/s
35k	9.9 s	3,520 t/s