4x 3090 최적의 전력 효율 구간 찾기

알려줘서 고맙다, 지금 추가했음.

ㅇㅇ 됨: https://github.com/aikitoria/open-gpu-kernel-modules 이제 nvlink랑 pcie 섞어서 쓰는 것도 지원함.

와 대박, 이런 걸 알게 되다니 진짜 최고다. 고마워!!

이거 안정적임? 커널이나 OS를 좀 건드려야 하는 거 아니야?

잘 되네, 고맙다. 돈 너무 안 깨지면서 5060Ti 4개 효율적으로 돌릴 방법 좀 찾아봐야겠음.

재밌네, 나도 사실 5060Ti 2개로 시작했거든 ㅋㅋ. NVFP4 변형 써보고 이 서브레딧에 글도 썼었음. 잘 작동하긴 했는데 대역폭 차이가 느껴지더라고. 좀 찾아보니까 3090 2개가 5060Ti 4개보다 낫다는 결론을 내리고 결국 반품함. 챗봇에서 에이전트 작업으로 넘어가면 tps가 훨씬 중요해지거든. 뭐 어디까지나 내 개인적인 의견이니까 참고만 해.

250W에서 350W까지 t/s가 일정한 이유는 디코딩이 연산이 아니라 메모리 대역폭 제한을 받기 때문임. 3090 GDDR6X 대역폭은 전력 제한을 걸어도 거의 안 변해서 29 t/s 정도가 나오는 거임. 200W에서 PP(프롬프트 처리)가 떨어지는 건 프리필(prefill)은 연산 제한을 받기 때문이고. 그래서 220W가 스윗스팟인 거임. 중요한 거(메모리 대역폭)는 챙기면서 이미 효율이 떨어지는 부분(셰이더 클럭)에서 전력을 깎아내는 거니까. 96GB VRAM이면 70B Q4 모델도 충분히 돌릴 수 있음.

맞아, 3090 두 개를 지금 하나 가격에 살 수 있었던 시절에 이걸 알았더라면 좋았을 텐데 🫠

벤치마크 돌리는 동안 5초마다 nvidia-smi 폴링하는 백그라운드 스크립트 돌려서 정확한 수치 가지고 있음. 아이들 온도는 GPU 0번 32도, 나머지는 29도였고, 최대 부하(350/390W) 시에는 60~68도 정도 나왔음. 델타 T는 대략 +31~39도 정도임. 근데 nvidia-smi가 모든 온도를 다 보여주는 건 아니라서 그냥 참고만 하셈.