r/Anthropic•약 2개월 전•13•3

Opus 5.5 독립 벤치마크 2종: Artificial Analysis 1위, Endor 보안 코딩 테스트 3위

Two independent Opus 5.5 benchmarks: #1 on Artificial Analysis, 3rd on Endor's secure coding test

핵심 요약

Opus 5.5의 성능과 비용 효율성을 분석한 두 가지 독립 벤치마크 결과입니다.

성능 지표 — Artificial Analysis에서 10개 테스트 종합 1위를 차지함
비용 효율성 — Fable 5.1 대비 작업당 비용이 훨씬 저렴하고 속도가 빠름
보안 테스트 — Endor Labs 평가에서 보안 관련 코드 수정 시 3위를 기록함
모델 선택 — 리더보드 결과보다는 실제 업무 환경에서의 직접 테스트가 중요함

Artificial Analysis

Opus 5.5는 10개 테스트를 합친 Intelligence Index에서 58점을 찍었음. GPT-6 Astra랑 Fable 5.1은 둘 다 53점. 셋 다 최대 성능으로 돌린 결과임. Terminal-Bench 4.0에서는 Opus랑 Astra가 60% 대 59%로 거의 비등비등함. SciCode에서는 Opus가 Astra보다 11점 앞서고.

차트: Artificial Analysis, 출처: heise

비용 쪽이 좀 흥미로운데, Opus 토큰이 Astra보다 싸긴 해도 Astra가 토큰을 훨씬 적게 먹음. 그래서 작업당 비용으로 따지면 Astra가 $3.26인데 Opus는 $5.98, Fable은 $7.63까지 나옴. 물론 이건 다 최대 성능 기준임. Opus 5.5는 기본값이 medium인데, 아직 그거 관련해서 수치 공개한 놈은 못 봤음.