r/LocalLLaMA•5일 전•42•131
여러분은 어느 정도의 TPS가 너무 느리다고 생각하시나요?
What TPS is too slow for you?
핵심 요약
사용자의 작업 목적과 성향에 따라 허용 가능한 TPS 기준이 2 TPS에서 100 TPS까지 매우 다양하게 나타남.
- 작업 목적별 기준 — 채팅은 50 TPS 이상을 선호하지만, 코딩이나 에이전트 작업은 상황에 따라 2~30 TPS도 수용함.
- 읽기 속도 고려 — 10 TPS 정도면 사람이 읽는 속도와 비슷해 충분하다고 느끼는 사용자들도 있음.
- 속도와 지능의 트레이드오프 — 고성능 모델의 지능을 위해 속도를 희생하거나, 반대로 속도를 위해 모델 품질을 타협함.
- 음성 대화 환경 — 음성 기반 어시스턴트는 4 TPS 정도만 유지되어도 자연스러운 대화가 가능함.
사람들이 자기 모델 돌릴 때 생각하는 TPS의 극단적인 기준들에 대해 계속 읽게 되네. 어떤 사람들은 30 TPS도 안 되는 속도로 고퀄리티 모델 돌리는 걸 만족스러워하는 반면, 또 다른 사람들은 퀄리티를 좀 희생하더라도 100~150 TPS가 넘는 미친 속도를 뽑아내려고 하더라고.
너희는 어느 정도가 마지노선이야? 로컬 모델 돌릴 때 이 정도는 나와야 한다 싶은 최소 TPS가 얼마임?
