r/LocalLLaMA•4개월 전•25•14
공지: GPU 전력 제한을 낮추세요, 성능 저하는 미미합니다
PSA: Throttle GPU power limits, with minor performance deficits
핵심 요약
GPU 전력 제한을 낮추면 성능 손실은 거의 없으면서 전력 소모를 크게 줄일 수 있다는 팁 공유.
- 전력 제한 설정 — GPU 전력 제한을 낮춰 전력 효율을 극대화함
- 성능 영향 분석 — 토큰 생성 속도는 거의 유지되나 프롬프트 처리 속도는 환경에 따라 다름
- 언더볼팅 권장 — 전력 제한과 함께 언더볼팅을 병행하여 발열과 전력을 동시에 잡음
- 측정 도구 활용 — DCGM 같은 도구를 사용하여 실제 전력 소모량을 정확히 측정함
이 내용을 여기 다시 올리는 이유는 더 많은 사람이 봤으면 해서임: GPU 전력 제한을 조절해보면, 성능 저하는 미미하면서 전력을 엄청나게 절약할 수 있다는 걸 자주 발견하게 될 거임.
내 듀얼 Radeon VII 설정에서는 카드당 250와트에서 100와트로 낮췄는데, 속도는 10%도 채 줄어들지 않았음.
