공지: Opus 4.8, 노력(effort) 척도를 재정의하다
PSA: Opus 4.8 Redefines the effort scale
핵심 요약
Opus 4.8 모델의 노력 설정별 토큰 사용량과 성능 변화를 분석한 결과, 이전 버전보다 토큰 소모가 크게 늘어 설정 조정이 필요합니다.
- 토큰 소모 증가 — Opus 4.8은 낮은 노력 설정에서도 이전 버전의 중간 이상 수준 토큰을 사용함
- 성능 향상 — 4.8의 '낮음' 설정이 4.7의 '최대' 설정과 대등한 문제 해결 능력을 보여줌
- 설정 주의사항 — 로그 스케일로 인해 실제 토큰 비용과 속도 차이가 체감보다 훨씬 클 수 있음
- 데이터 근거 — 시스템 카드 기반 분석으로, 사용자는 비용 효율을 위해 설정을 재조정해야 함
시스템 카드(capabilities -> SWE-Bench Pro)에 따르면:
- Opus 4.8의 "낮음(low)" 노력 설정은 이제 4.7이나 4.6의 "중간-높음(medium-high)" 설정만큼 많은 출력 토큰을 사용합니다.
- Opus 4.8의 "중간(medium)" 노력 설정은 이제 4.7의 "높음(high)" 설정보다 더 많은 출력 토큰을 사용하거나, 4.6의 "최대(max)" 설정과 거의 비슷한 양을 사용합니다.
- Opus 4.8의 "낮음" 설정은 4.7의 "최대" 설정과 거의 동일한 문제 해결 능력을 갖추고 있습니다.
- X축이 로그 스케일이라는 점에 유의하세요. 따라서 오른쪽 절반에서 보이는 것보다 실제 차이는 더 큽니다.
이는 속도와 토큰 비용에 큰 영향을 미치므로, 그에 맞춰 설정을 조정하시기 바랍니다.
그래픽은 시스템 카드에서 가져왔습니다. 주황색 화살표와 가로 점선은 모델 결과를 비교하는 데 도움을 주기 위해 제가 직접 추가한 것입니다.


