Tessera-27B-B-CJK: 토큰 절약을 위한 새로운 접근 방식을 도입한 Zellige AI의 Qwen 파인튜닝 모델
Tessera-27B-B-CJK, Zellige AIs new finetune of Qwen with novel approaches to how we think about token savings
핵심 요약
Qwen-27B 모델이 압축된 CJK 언어로 사고하게 하여 에이전트 루프의 토큰 사용량을 절반으로 줄인 새로운 모델입니다.
- 토큰 효율성 — 사고 과정을 압축된 CJK 언어로 처리하여 토큰 사용량을 50% 수준으로 절감함
- 에이전트 최적화 — 에이전트 루프에서 발생하는 불필요한 사고 토큰을 줄여 효율적인 작업 수행
- 오픈 웨이트 — Apache-2.0 라이선스로 공개되어 누구나 다운로드 및 테스트 가능
- 향후 연구 — 모자이크 타일이라는 의미의 'Tessera' 라인업을 통해 지속적인 효율성 연구 예정
Tessera-27B-B-CJK는 압축된 CJK(중/일/한)로 사고하며 토큰 소모를 줄인 Qwen3.8-27B 기반 코딩 에이전트야. 오픈 웨이트고 라이선스는 Apache-2.0이다.
드디어 첫 번째 "Tessera" 라인업 모델을 공개한다!
- Hugging Face: https://huggingface.co/ZelligeAI/Tessera-27B-B-CJK
- 논문: https://zellige.ai/research/tessera-27b-b-cjk
Tessera는 토큰을 아끼고 효율적으로 돌아가게 만들면서, 우리 연구의 다른 부분들을 보여주기 위해 만든 모델 및 튜닝 라인업이야.
하는 일:
에이전트 루프는 매 턴마다 사고 과정에서 비용이 발생하잖아. 그래서 Qwen3.8-27B한테 사고는 적게, 대신 영어와 중국어 단어, 기호를 섞은 압축된 CJK 약어로 생각하게 가르쳤어. 사고 과정과 결과물은 분리해 뒀지. 모델은 약어로 생각하지만, 답변이나 툴 호출은 평범한 영어와 코드로 나오니까 너희가 쓰는 하네스(harness)에서는 평소처럼 보일 거야. bottlecap ai의 thinkingcap 같은 모델들과 비슷하지만, 우리는 이 Tessera 모델들을 통해 토큰 효율성에 대한 더 많은 연구와 가능성을 앞으로 계속 보여줄 생각이야.
실제 테스트에서 가져온 턴 하나 보여줄게. 툴 호출 두 번 하기 전까지 딱 27토큰 썼어:
查看`linter`包; 查`FileWalker`; 查checker在`checkers`包中如何注册.
베이스 모델은 같은 단계에서 137토큰을 썼어. 저건 그나마 짧은 편이고, 보통은 절반 정도 수준이야.
수치:
아래 수치들은 전부 11개의 코딩 에이전트 태스크에서 튜닝 안 된 Qwen3.8-27B와 비교한 결과고, xhigh effort 설정으로 돌렸어.
- 에이전트 턴당 베이스 모델 사고 토큰의 0.50-0.64배 (평균 0.496배, 90% 신뢰구간 0.385-0.624; 토큰 가중치 적용 시 0.644배)
- 88번의 매칭 턴에서 100% 유효한 툴 호출, 반복 루프 0회 (베이스 모델과 동일)
- 101K-131K 토큰 프롬프트에서 6번 중 6번 모두 유효한 툴 호출. 131k 이상은 테스트가 적지만, 몇 번 돌려본 결과 아주 잘 버텼음.
이건 에이전트 루프용으로 만든 거야. 경시 수학이나 어려운 알고리즘 코딩은 그냥 베이스 모델 써라. 이 모델은 그런 쪽 점수는 낮고 루프도 더 많이 돌아. bf16 모델만 평가했고, GGUF랑 NVFP4 파일은 테스트 안 해봤으니까 써보고 결과 좀 알려주면 고맙겠다.
