r/LocalLLaMA•4개월 전•58•34
PSA: 며칠 동안 Llama.cpp 업데이트 안 하셨으면 지금 하세요. MTP 성능 문제 해결됨.
PSA: If you haven’t updated Llama.cpp for a couple of days and find MTP to not be performing well, update llamacpp.
핵심 요약
Llama.cpp 최신 업데이트로 MTP 성능이 1.5~1.8배 향상되었으니 지금 바로 업데이트하세요.
- 성능 향상 — 최신 업데이트 적용 시 토큰 처리 속도가 1.5~1.8배 빨라짐.
- 버그 수정 — 기존에 보고된 pp 관련 이슈가 대부분 해결됨.
- 업데이트 권장 — 며칠간 업데이트를 안 했다면 성능 저하를 겪을 수 있음.
성능이 형편없고 별거 아니라고 생각해서 벤치마킹에만 한 시간을 썼었네요. 어제 업데이트를 했더니 토큰 처리 속도가 1.5~1.8배 정도 빨라졌습니다. pp 관련 문제도 거의 다 해결됐고요. 이제 제 pp가 정말 커졌네요 ;)
