r/LocalLLaMA•23일 전•659•182
전기 낭비 좀 그만해
핵심 요약
RTX 4090에서 전력 제한을 설정해 성능 저하 없이 전력 소비와 발열을 줄이는 방법 공유.
- 전력 제한 — RTX 4090의 전력 소비를 40%까지 낮춰도 성능 손실 없이 발열과 소음을 줄일 수 있음.
- llama.cpp 설정 — llama-server 실행 시 전력 제한을 통해 효율적인 LLM 추론 환경을 구축함.
- 하드웨어 수명 — GPU 전력 제한을 통해 발열을 억제하고 부품의 수명을 연장하는 효과가 있음.
- 5090 전력 제한 — 최신 5090 모델의 경우 펌웨어 제한으로 인해 BIOS 수정 등 추가적인 설정이 필요할 수 있음.
내 RTX 4090에서 돌려봄
llama.cpp 파라미터:
llama-server -m ~/Projects/llm/models/Qwen3.6-27B-UD-Q4_K_XL.gguf --flash-attn on -ngl all -ctk q4_0 -ctv q4_0 -t 32 -c 262144
전력 제한은 sudo nvidia-smi -pl N 명령어를 사용해서 설정함
관찰해 본 결과, GPU가 계속 전력 제한에 걸리는데, 이게 실제 소비 전력이라고 봐도 무방함. 성능 저하 없이 전력 소비를 40%까지 줄일 수 있음(덤으로 소음이랑 PC 발열도 줄고 GPU 수명도 늘어남).
