r/LocalLLaMA•24일 전•460•114
X 토큰/초가 실제로 얼마나 빠른지 체감해보기
핵심 요약
LLM의 토큰 생성 속도를 직관적으로 체감할 수 있게 해주는 웹 도구와 파이썬 스크립트가 공유됨.
- 토큰 속도 시각화 — 초당 토큰 생성 속도가 실제 사용자 경험에 어떤 영향을 주는지 직관적으로 보여줌.
- 웹 기반 도구 — 텍스트, 코드, 추론 등 다양한 상황별 토큰 속도를 브라우저에서 직접 테스트 가능함.
- 로컬 환경 지원 — 로컬 LLM 사용자들을 위해 파이썬 버전 스크립트도 함께 제공됨.
- 사용자 반응 긍정적 — 토큰 속도를 체감하기 어려운 문제를 해결해 주는 유용한 도구로 평가받음.
I love following all your adventures with local LLM setups. Quality and size of the models are important, but so is performance. Numbers don't really convey the experienced speed well, however.
If someone claims they run Qwen 3.6-27B at 21 tokens/second, how fast is that? Is 10 tokens/second unusable? I find these numbers objective but meaningless.
I built a script that helps me get a subjective feel for these objective numbers.
It supports text, code and reasoning + code.
