Astra Ultra/Max가 Low/Medium보다 토큰을 덜 소모함
Astra in Ultra/Max consumes less than Astra Low/Medium
핵심 요약
Astra 설정에서 낮은 단계보다 높은 단계가 오히려 토큰 소모량이 적다는 현상에 대한 사용자들의 의문과 분석입니다.
- 토큰 소모 역설 — 낮은 설정보다 높은 설정에서 토큰 소모가 적게 나타남
- 파일 읽기 영향 — 전체 컨텍스트 중 파일 읽기 비중이 커서 생각 토큰 차이가 미미함
- 서버 부하 이론 — 시간대별 서버 부하에 따라 토큰 소모량이 달라질 가능성 제기
- 캐싱 문제 — 설정 변경 시 캐시 무효화로 인한 비효율 발생 가능성 논의
도대체 이게 어떻게 가능한 거냐?
Astra Low/Medium 쓸 때마다 사용량이 미친 듯이 널뛰는데...
Astra Max를 쓰면 사용량이 거의 안 움직여(Astra Low/Medium에 비하면 거의 안 움직이는 수준이지, SOL이랑 비교하면 여전히 개판이긴 함)...
아무 생각 없이 Astra Ultra를 써도 Astra Low/Medium이랑 똑같이 처먹고 있고...
Astra의 Low/Medium 모델들에서 뭔가 이상한 일이 벌어지고 있는 게 분명함.


