r/LocalLLaMA•약 8시간 전•28•6
migtissera/Tess-4.5-27B (Qwen 파인튜닝 모델)
migtissera/Tess-4.5-27B (Qwen finetune)
핵심 요약
Synthia 제작자가 공개한 Tess-4.5-27B는 동일한 성능을 유지하면서도 추론 토큰 사용량을 25% 줄인 효율적인 모델입니다.
- 토큰 효율성 — 동일한 성능을 내면서도 전체적인 추론 토큰 사용량을 25% 절감함
- 성능 유지 — 데이터 추출 및 버그 찾기 등 어려운 작업에서 더 적은 토큰으로 더 높은 점수 기록
- 사용자 이점 — 응답 속도 향상 및 컨텍스트 윈도우 활용도 극대화
- 기반 모델 — Qwen 27B 모델을 파인튜닝하여 최적화함
huggingface.co
원문 사이트로 이동
https://huggingface.co/migtissera/Tess-4.5-27B-GGUF
Synthia 제작자가 씀
이 부분이 맘에 드네:
https://huggingface.co/migtissera/Tess-4.5-27B#less-thinking-same-answersLess 사고 과정. 결과는 동일.
Tess-4.5는 토큰을 4분의 1이나 덜 쓰고도 똑같은 점수를 뽑아냄. 150개의 모든 BenchLocal 시나리오에서 추론 과정을 포함해도 베이스 모델보다 토큰을 25% 적게 썼음. 특히 작업이 빡센 구간에서 효율이 제일 좋았는데, CLI-40에서는 토큰을 32% 덜 쓰고도 점수는 더 높았고, 데이터 추출에서는 43%나 적게 썼음.²
| Tokens to the same score | Tess-4.5-27B | Qwen3.8-27B | |
|---|---|---|---|
| All 150 scenarios | 262K | 349K | −25% |
| CLI-40 | 149K | 219K | −32% |
| DataExtract-15 | 14K | 25K | −43% |
| BugFind-15 | 28K | 35K | −21% |
토큰을 적게 쓴다는 건 답변이 빨리 나오고, 지가 생각하는 데 컨텍스트를 덜 잡아먹고, 컨텍스트 윈도우가 꽉 차기 전까지 더 길게 대화할 수 있다는 뜻임. 본인 GPU에서 돌릴 때 드래프트 헤드(draft head)랑 같이 쓰면 시너지가 미침. 토큰은 줄어들고, 토큰 하나하나 생성 속도는 더 빨라지니까.
