Opus 5.5가 '너프' 단계에 진입했을까? LiveNerf 기준점 업데이트
Did Opus 5.5 enter a “nerfed” phase? LiveNerf baseline update
핵심 요약
Opus 5.5의 성능 저하 여부를 과학적으로 추적하는 오픈소스 프로젝트 'LiveNerf'를 소개하고, 현재까지의 데이터와 향후 계획을 공유함.
- LiveNerf 프로젝트 — SWE-bench 등 표준 벤치마크를 활용해 Opus 5.5의 성능 변화를 과학적으로 추적함.
- 성능 저하 의혹 — 최근 성능 하락에 대한 사용자들의 체감이 이어지나 데이터 검증에는 시간이 더 필요함.
- 투명성 확보 — AI 기업의 불투명한 모델 관리에 대응해 커뮤니티가 직접 성능을 검증하는 도구를 개발함.
- 향후 계획 — 지속적인 데이터 수집을 통해 잠재적 너프 발생 시 결과를 투명하게 공개할 예정임.
Claude 커뮤니티가 Opus 5.5 출시 이후 성능이 변하는지, 아니면 소위 '너프'를 먹는지 독자적으로 측정할 수 있는 오픈소스 프로젝트를 공개했다. 이 프로젝트는 SWE-bench나 FrontierCode 같은 검증된 벤치마크를 써서 매일 성능을 추적하고, 표준화된 과학적 방법론을 적용해서 시간 경과에 따른 변화를 측정하고 재현할 수 있게 만들었다. Opus 5.5 성능 추적에 관심 있는 사람들은 아래 저장소 확인해라.
https://github.com/ninjahawk/livenerf
오늘 이틀 연속으로 성능이 좀 떨어졌다고 해서 지금 당장 너프가 확실한 거냐고 묻는 사람들이 보여서 확실히 해두려고 한다. 모델 출시 후 20일 차가 되기 전까지는 그런 데이터 안 나온다. 그러니까 결론 내리려면 아직 2주 정도 더 기다려야 함. 오늘 떨어진 수치는 10일 차에 잡힐 기준선에 포함될 예정이다.
내가 데이터를 어떻게 수집하는지 다들 한번 살펴보고, 앞으로 벤치마크 개선할 점 있으면 의견 좀 내주라. 앞으로도 계속 돌릴 생각인데, 이거 다 내 사비로 하는 거라 비용이 꽤 든다. Opus 5.5 돌리는 데만 벌써 프로 플랜 일주일 치 정도 깨졌다.
난 투명성을 진짜 중요하게 생각한다. AI 기업들이 투명하게 안 까주니까, 우리가 직접 지금 숨겨진 것들을 밝혀낼 도구를 만드는 거다.
LiveNerf 응원해 준 사람들 진짜 고맙다. 실망시키지 않도록 노력할게. 생각보다 판이 너무 커져 버렸네. 원래는 그냥 나 혼자 과학적으로 검증해보려고 시작한 건데, 다들 좋아해 줘서 놀랐다. 다들 정말 고맙다. 만약 이번 달에 진짜 너프 징후가 포착되면, 데이터 정리해서 바로 공지 올리겠다.
