r/Anthropic•4개월 전•41•21

Opus 4.8과 주요 AI 모델 비교 벤치마크 100개 이상 정리

Here's >100 evals for Opus 4.8 compared to top AI models

핵심 요약

Claude Opus 4.8의 100여 개 벤치마크 분석 결과, 수학과 코딩 성능은 크게 향상되었으나 법률 및 금융 분야는 정체된 것으로 나타났습니다.

성능 향상 지표 — 수학(USAMO 2026) 97% 달성 및 코딩 벤치마크에서 큰 폭의 점수 상승을 기록함.
경제적 가치 — GDPval-AA 벤치마크에서 275개 모델 중 1위를 차지하며 실무 능력을 입증함.
정체된 분야 — 법률, 의료, 금융 및 다국어 추론 능력은 이전 버전 대비 개선이 미미하거나 하락함.
사용자 피드백 — 새로운 'ultracode thinking' 설정과 함께 코딩 작업에서 체감 성능이 좋다는 반응임.

Opus 4.8에서 무엇이 바뀌었는지 확인하기 위해 100개 이상의 벤치마크를 긁어모았습니다.

4.7 대비 큰 폭의 상승:

수학: USAMO 2026 점수가 69%에서 97%로 급등
코딩: Vibe Code Bench +12 pp
경제적 가치: GDPval-AA에서 275개 모델 중 1위
생물학
긴 문맥 추론(Long-context reasoning)

하지만 몇몇 핵심 분야는 거의 개선되지 않았거나 오히려 나빠져서 놀랐습니다:

법률 추론
의료 / 의학
금융
다국어 추론
비즈니스 운영: Vending-Bench 2 점수가 거의 반토막 남
멀티모달: 섞인 결과(mixed results)

여기서 데이터를 더 자세히 살펴볼 수 있습니다: https://benchmarklist.com/models/anthropic-claude-opus-4.8/

지금까지 Claude code 내부에서 Opus 4.8을 사용해봤는데, 특히 새로운 /effort를 통한 ultracode thinking 설정이 아주 마음에 들었습니다.

여러분은 테스트해보면서 눈에 띄는 변화를 발견하셨나요?

원문

커뮤니티 목록

r/Anthropic•4개월 전•41•21

Opus 4.8과 주요 AI 모델 비교 벤치마크 100개 이상 정리

Here's >100 evals for Opus 4.8 compared to top AI models

핵심 요약

Claude Opus 4.8의 100여 개 벤치마크 분석 결과, 수학과 코딩 성능은 크게 향상되었으나 법률 및 금융 분야는 정체된 것으로 나타났습니다.

성능 향상 지표 — 수학(USAMO 2026) 97% 달성 및 코딩 벤치마크에서 큰 폭의 점수 상승을 기록함.
경제적 가치 — GDPval-AA 벤치마크에서 275개 모델 중 1위를 차지하며 실무 능력을 입증함.
정체된 분야 — 법률, 의료, 금융 및 다국어 추론 능력은 이전 버전 대비 개선이 미미하거나 하락함.
사용자 피드백 — 새로운 'ultracode thinking' 설정과 함께 코딩 작업에서 체감 성능이 좋다는 반응임.

Opus 4.8에서 무엇이 바뀌었는지 확인하기 위해 100개 이상의 벤치마크를 긁어모았습니다.

4.7 대비 큰 폭의 상승:

수학: USAMO 2026 점수가 69%에서 97%로 급등
코딩: Vibe Code Bench +12 pp
경제적 가치: GDPval-AA에서 275개 모델 중 1위
생물학
긴 문맥 추론(Long-context reasoning)

하지만 몇몇 핵심 분야는 거의 개선되지 않았거나 오히려 나빠져서 놀랐습니다:

법률 추론
의료 / 의학
금융
다국어 추론
비즈니스 운영: Vending-Bench 2 점수가 거의 반토막 남
멀티모달: 섞인 결과(mixed results)

여기서 데이터를 더 자세히 살펴볼 수 있습니다: https://benchmarklist.com/models/anthropic-claude-opus-4.8/

지금까지 Claude code 내부에서 Opus 4.8을 사용해봤는데, 특히 새로운 /effort를 통한 ultracode thinking 설정이 아주 마음에 들었습니다.

여러분은 테스트해보면서 눈에 띄는 변화를 발견하셨나요?

주요 댓글

r/anthropic

Opus 4.8의 벤치마크 결과에 대해 성능 향상을 인정하면서도 실사용 성능에 대한 회의적인 시각과 이미 충분히 좋다는 의견이 엇갈리고 있습니다.

그 모든 지표 중에 EQ나 일반적인 글쓰기 능력을 측정한 건 단 하나도 없네.

아쉽게 됐네. Eqbench는 아직 4.8을 포함해서 벤치마크 업데이트를 안 했어. 모델 카드 102페이지를 보면 최소한 행동 감사 점수는 나와 있어. https://cdn.sanity.io/files/4zrzovbb/website/c886650a2e96fc0925c805a1a7ca77314ccbf4a6.pdf 혹시 다른 괜찮은 EQ나 작문 벤치마크 본 거 있어? [이미지]

별로 없지. 난 EQ Bench, NYT Connections, 그리고 예전 Winogrande를 조합해서 쓰는데(모델들이 1년 넘게 퇴보하고 있어서 요즘은 잘 안 다루긴 하지만). 인문학 쪽에 집중한 벤치마크가 더 많았으면 좋겠어. 측정하기 어렵다는 건 알지만, 적어도 자기 사용 사례를 어느 정도 반영하는 지표를 보고 싶어 하는 유저들이 많거든.

맞아.. 그래서 벤치마크가 그렇게 많은 거지. 최대한 전체적인 그림을 파악해서 더 넓은 범위의 데이터를 바탕으로 '이 모델이 다른 모델들에 비해 얼마나 좋은가'를 추론하려고 하는 거니까.

코딩: Vibe Code Bench +12 pp 경제적 가치가 있는 작업: GDPval-AA에서 275개 중 1위 긴 문맥 추론 [움짤 반응] 내 사용 사례에는 아주 강력함

링크 있어?

링크는 여기 있어: https://benchmarklist.com/models/anthropic-claude-opus-4.8/

실제 성능이 여전히 별로면(poop) 이런 거 다 의미 없음

생물학 분야는 확실히 많이 좋아졌네. 내가 좀 생소한 자생 식물 식별, 세포 관련 질문, 생태학 문제, 산림 생체 측정 같은 것들을 돌려봤는데 4.8이 내가 던진 모든 질문에 정답을 맞혔어.

오 좋네, 진짜 엄청난 개선인 듯. 이 질문들 다 4.7이 잘 못하던 분야들이었나?

우리가 너무 배가 불렀나 봐. 성능은 이미 충분히 좋은데. 네 말투를 보면 마치 못 쓸 물건인 것처럼 말하네.

아직 AGI는 멀었네

실제 성능이 여전히 똥망이면 이런 거 다 의미 없음

다른 스레드 두 군데에도 올렸는데, 첫인상은 4.6은 쩔었고, 4.7은 진짜 장난하나 싶을 정도로 개판이었거든. 4.8은 제발 이게 프론티어 모델이라면... (욕설) 4일 써본 결과: 거의 내 마음을 읽는 수준이고, 전문가처럼 코딩하고, 빈틈없이 다 챙겨주고, 시키지도 않았는데 디버깅하고 반복 작업도 잘해. 나를 가스라이팅하지 않고 진짜 제대로 추론하더라. 감탄했음.

실사용 성능이 여전히 똥망이면 이런 거 다 아무 의미 없음.

원문r/Anthropic