나만의 겸손한 MoE 중심 워크스테이션 완성

내가 작성자 입장이라면, 저 장비에 R9700 하나 더 꽂고 DS V4.1 Flash Q8K_XL 돌릴 듯. 그건 VRAM 48GB(3090 2개) + 256GB RAM만 있어도 약간의 버벅임은 있지만 돌아가거든(Strata 포크 중 하나인 Maya 엔진 사용 시). Q4K_XL은 48+256 환경에서 더 잘 돌아가는데, DDR4 메모리 4채널이랑 구형 Threadripper 3990X 조합으로 디코드 25 t/s, 프리필 400+ t/s 찍음.

4k 프리필에 130 t/s 넘는 거랑 400 프리필 / 25를 비교하는 거야? 못 쓸 수준인데.

나도 비슷한 거 했는데, 메인보드 도착 기다리는 중임-
Epyc 7413 (Milan)
Asrock rack romed8-2t
6 x RTX 5060 Ti 16GB
128GB (ECC DDR4 16GB 8개)
램은 '램 대란' 시작 직전에 샀음.

이런 거 하려면 파워 서플라이 몇 개나 필요함?

스레드리퍼 프로로 비슷한 걸 만드는 중이에요. 램 128GB(16GB 8개)에 5060ti 16GB 3개로 VRAM 48GB 맞췄습니다. 예전에 만든 NAS 빌드랑 합쳐서 SAS3 컨트롤러랑 40gbit 인텔 네트워크 카드도 넣었고요.

이제 카드 3개 더 추가하셈 🙂

Gigabyte MZ-31이랑 MZ-32가 멀티 GPU 셋업용 가성비 메인보드로는 최고지. 난 MZ-31에 7401p, DDR4 2400 16GB 8개 조합으로 640유로에 맞췄는데, 이 정도면 실패할 수가 없음.

근데 파는 MZ-31은 보통 Rev1.1이라 구린 Naples CPU만 지원함. 전반적으로 EPYC용 메인보드는 그냥 정신승리 영역임. 예를 들어, EPYC Rome이나 Milan 같은 CPU들도 최상급 몇 개 빼면 i9 14900보다 성능 떨어지는데, 메인보드는 400달러 넘어가고 보증도 안 됨. 결론적으로 저런 보드 파는 놈들은 재고 썩히다가 나중에 탐욕에 대한 대가로 몇 푼 받고 재활용이나 보내야 함.

"가성비"

8채널 RAM에서 메모리 대역폭 얼마나 나옴?
내 R9700이랑 DDR5 5600 96GB 조합은 Strata랑 Qwen3.8 Flash Next IQ_3 돌리기에 딱 필요한 만큼 빠름.