r/LocalLLaMA•5개월 전•39•19
GPU 전력 제한을 낮춰보세요
Reduce your GPU power limit
핵심 요약
게이밍 GPU의 전력 제한을 조절해 LLM 토큰 생성 효율을 테스트한 경험 공유.
- 전력 제한 조절 — MSI Afterburner를 사용해 게이밍 GPU의 전력 제한을 낮추고 성능 변화를 테스트함.
- 메모리 클럭 최적화 — 메모리 클럭을 700~1000MHz 높이면 토큰 생성 속도가 전반적으로 소폭 향상됨.
- 코어 클럭 영향 — 코어 클럭 조절은 토큰 생성 성능에 미치는 영향이 매우 적음.
- 테스트 환경 — Qwen 3.5 9B 모델을 사용하여 토큰 생성(TG) 및 처리(PP) 성능을 측정함.
저는 이 분야의 전문가가 아니며, 제가 무슨 말을 하는지 잘 모른다는 점을 미리 밝힙니다.
다른 게시물을 보고 영감을 받아, 전력 제한 조절이 토큰 처리 및 생성에 미치는 영향에 대해 테스트를 해보고 싶었습니다. 더 전문적인 하드웨어에서도 적용되는지는 모르겠지만, 게이밍 GPU에서는 확실히 적용됩니다! 고등학생 때 오버클럭을 하려고 설치했던 MSI Afterburner를 그냥 열기만 하면 됩니다.
테스트는 qwen3.5:9b 모델로 진행했던 것 같은데, 며칠 전이라 기록하는 걸 깜빡했네요.
두 번째 이미지는 코어 및 메모리 클럭 조절 테스트 데이터입니다. 영향은 매우 적지만, 마지막 토큰 하나까지 쥐어짜 내고 싶다면 메모리 클럭을 700~1000MHz 정도 높이는 것이 전반적인 토큰 생성 속도를 적당히 향상시켜 줍니다(기본 전력 제한 상태에서 테스트해보진 않았는데, 이제 궁금해지네요). 여전히 도움이 될 만한 테스트는 시스템의 실제 전력 소모량을 기록하는 것뿐이라고 생각합니다. 하지만 코어 클럭 조절이 전력 소모와 성능에 동시에 영향을 미치는지 확인하는 용도로만 유용할 것 같아서 아직 시도해보지는 않았습니다.
TG128 -> 128 토큰 생성
PP512 -> 512 토큰 처리
