r/LocalLLaMA•약 5시간 전•28•16
RAM 대비 큰 모델을 사용 중이라면 MTP를 비활성화해 보세요
If you are using big model compared to ram try and disable mtp
핵심 요약
RAM 용량이 부족한 환경에서 MTP를 끄면 성능이 향상될 수 있다는 사용자들의 경험담이 공유되었습니다.
- MTP 비활성화 — 대형 모델 사용 시 토큰 생성 속도 향상됨
- 병목 현상 원인 — VRAM 부족으로 인한 RAM/디스크 스왑 발생
- 설정 최적화 — draft 토큰 개수 조절이나 MTP 끄기로 성능 개선
- 하드웨어 제약 — VRAM 점유율이 높은 경우 MTP가 오히려 독이 됨
참고로 하나 알려주자면, 이것저것 테스트해 본 결과 모델이 너무 크면 mtp가 성능을 깎아먹는 경우가 많더라. 요즘 strata나 비슷한 거 많이들 쓰고, 앱들도 기본값으로 켜두는 경우가 많던데 한번 꺼봐. 나 같은 경우엔 3060에 32gb 램 환경에서 gyrostrata랑 strata 돌릴 때 gyro-m이랑 swift 1.5 둘 다 mtp 끄는 것만으로 tok/s가 20~30%나 올랐음.
