Opus 5.5 성능 저하(nerf)가 있을까? 이를 실시간으로 측정하는 'LiveNerf' 벤치마크

앤스로픽이 모델 성능을 너프하는지 확인하려고 Opus 5.5 출시 첫날부터 계속 추적 중이다. 매일 GPQA나 SWE-bench 같은 독립적인 벤치마크를 다시 돌려보고, 그 결과를 저장소 그래프에 기록하고 있다. 현재까지는 너프된 흔적 안 보인다. 앞으로 몇 달간 계속 모니터링할 거고, 만약 너프가 감지되면 저장소 그래프에 바로 뜰 거다. Opus 5.5 성능 추적에 관심 있으면 여기 저장소 확인해라:

https://github.com/ninjahawk/livenerf

Claude를 써서 Opus 5.5가 가장 어려워하는 질문들을 골라냈고, 비교 기준(control benchmark)은 Opus 5로 잡았다. LiveNerf에서 7.5점 이상 차이가 나면 성능이 떨어진 걸로 간주할 생각이다. 만약 1~2주 안에 다들 모델 너프됐다고 난리 치면, 그게 그냥 호들갑인지 아니면 뒷받침할 데이터가 있는 건지 확인해서 결과를 다시 공유하겠다.

현재 Opus 5.5가 보여주는 일별 성능 변화를 첨부했다. 10일 차쯤 되면 기준점이 잡힐 거고, 20일 차는 돼야 제대로 된 판단을 내릴 수 있을 것 같다.