Planning small AI RIG, 5 X 5060ti 16GB, after selling my 5090
5090을 처분하고 5060ti 16GB 5개를 활용한 AI 전용 리그 구성을 고민하는 사용자의 질문.
이거 좋은 생각인지 좀 알려줘. 지금 Zotac 5090에 128GB RAM 쓰고 있는데, 5090만 팔고 5060ti 16GB 5개를 살까 생각 중이야. PCIe 4.0 x16 라이저 케이블도 쓸 거고, AI용 오픈 리그를 만들 계획인데 괜찮을까?
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Claude Opus 5.5의 성능 저하 여부를 실시간으로 추적하는 오픈소스 벤치마크 도구 'LiveNerf'가 공개되어 큰 호응을 얻고 있습니다.
Claude Opus 5.5의 성능 저하 여부를 실시간으로 추적하는 오픈소스 벤치마크 도구 'LiveNerf'가 공개되어 큰 호응을 얻고 있습니다.
다중 GPU 구성에 관심 있는 사용자들이 5060ti를 활용한 빌드 경험과 기술적 문제 해결책을 활발히 공유하며 커뮤니티를 형성하고 있음.
오늘 PCIe 4.0 x4에서 5060ti 4개 테스트해 볼 예정임. 텐서 병렬 처리가 잘 작동했으면 좋겠네.
난 5060ti 3개로 27B Q8 XL 돌리는데 55 t/s 정도 나오고, Q6는 85 t/s 나옴.
3.6 35b Q8 XL은 120 t/s 정도.
이건 CPU 레인 8x8x4x 환경 기준임.
물론 작업마다 다르긴 한데, 그냥 재미로 하려고 월급 털어서 만든 가성비 빌드치고는 나쁘지 않음. https://imgur.com/a/3m7O0YG
카드 전부 메인보드에 꽂았어, 아니면 PCIe 라이저 케이블 썼어?
2개는 메인보드에, 1개는 NVMe 슬롯 1번 CPU 레인 x4에 독으로 연결함.
선택지가 제한적일 때 추가 GPU를 연결하는 가장 좋은 방법이지.
진짜 괜찮네. 리눅스 써?
데비안 12
Llama.cpp 쓰고 있는 거야?
결과 공유 좀 해줘, 읽어보면 재밌을 듯.
어떻게 되는지 알려줘, 괜찮으면 몇 시간 뒤에 DM 보낼게.
어, 괜찮아. 아마 몇 시간보다는 더 걸릴 거야. 카드 설치하고 리눅스도 깔아야 해서.
LM Studio로 간단히 테스트 좀 해봤는데, Qwen3.6 27B Q6은 파이프라인 17 tk/s, 텐서 31 tk/s 나왔고, Qwen3.6 35B Q8은 파이프라인 103 tk/s, 텐서 101 tk/s 찍히더라. 파이프라인 쓰니까 카드 4개 다 합쳐서 50W 먹음. 오늘 밤에 Llama.cpp 올려서 테스트해 볼 예정임. 다른 거 테스트해 보고 싶으면 DM 줘.
질문 있으면 편하게 PM 보내. 지금 4x4 바이퍼케이션으로 5060 ti 4개 돌리는 중임. CPU는 Zen 2 3900x인데, 설정 문제인지 Gen4가 안 잡혀서 일단 Gen3로 쓰는 중. 7월 8일에 Gen4 리드라이버 올 예정임.
다중 GPU 쓰는 사람들끼리 단톡방 만들어서 정보랑 문제 해결책 공유 좀 하자.
필요한 사람 있을까 봐 여기 남겨둠: https://github.com/5p00kyy/club-5060ti
뉴비인데 이거 MoE 관련 섹션이 따로 있음? 아니면 다들 안 쓰는 건가. 나 램 64GB 있음