앤스로픽이 Opus 5.5 성능을 너프했나? LiveNerf 47일 차 업데이트

한 달 반쯤 전에 AI 모델이 시간이 지날수록 진짜 성능이 떨어지는지 독자적으로 추적하려고 LiveNerf를 시작했음.

그 이후로 생각보다 훨씬 커졌음. GitHub에서 별 1.6k개 넘게 받았고, Discord 커뮤니티는 250명 넘게 모였고, Opus 5.5에 대해 47일 연속으로 데이터 3,666개를 수집했음. Opus 5.5 성능 추적하는 거 관심 있으면 여기 저장소 확인해 보셈:

https://github.com/ninjahawk/livenerf

최근에 오가는 얘기들 고려하면 이번 최신 결과 꽤 흥미로움.
우리는 아직 유의미한 성능 저하(nerf)를 감지하지 못했음.

초기 10일간의 기준점은 평균 58.4%였고, 가장 최근 일일 결과는 61.5%였음. 매일 변동폭은 좀 있었지만, 우리 감지 기준을 충족할 만한 지속적인 하락세는 없었음.

이게 모델이 모든 사람한테 똑같이 작동한다거나, 모든 능력치가 하나도 안 변했다는 뜻은 아님. 우리가 말하고 싶은 건 6주 넘게 똑같은 고정 패널로 독자적인 테스트를 돌려본 결과, 우리 방법론의 민감도 내에서는 유의미한 성능 저하의 증거를 찾지 못했다는 거임.

최근에 Claude Code에 나타나는 식별자랑 사용자마다 다른 버전이나 설정이 제공되는 거 아니냐는 논의가 많음.

이거 조사해 볼 가치는 있다고 보는데, 근본 모델 자체의 변화랑 그 주변 시스템의 변화를 구분하는 것도 중요하다고 생각함.

요즘 모델들은 그냥 모델 하나만 띡 배포되는 게 아님. 라우팅 시스템, 도구 설정, 컨텍스트 관리, 시스템 프롬프트 같은 요소들이 얽혀 있어서, 모델 자체의 능력이 안 변해도 사용자 경험은 충분히 달라질 수 있음.

두 사람이 똑같은 모델을 쓰는데도 Claude Code에서 확연히 다른 경험을 하는 건 충분히 가능한 일임.
지금 논의되는 식별자들이 서로 다른 설정이 제공되고 있다는 걸 증명할 순 있어도, 그게 곧 어느 한쪽이 더 성능이 떨어진다거나 왜 그런 차이가 발생하는지까지 설명해 주는 건 아님.
그런 부분은 확실하게 분리해서 더 테스트해 보고 싶음.

그리고 이게 LiveNerf의 미래에 있어서 중요한 지점을 가리킨다고 봄.

근본 모델을 측정하는 건 사람들이 실제로 체감하는 성능을 측정하는 일부분일 뿐임.
모델은 그대로인데 주변 시스템이 확 바뀔 수도 있는 거니까. AI 제품이 시간이 지날수록 좋아지는지 나빠지는지 파악하려면 결국 둘 다 측정해야 함.

그게 내가 LiveNerf를 확장하고 싶은 방향임. 여러 모델, API, 그리고 나중에는 에이전트 시스템까지 아우르는 독자적이고 재현 가능한 성능 모니터링 체계를 만드는 거.

그리고 원래 실험에 대해 확실히 해두고 싶은 게 있음. 우리는 Anthropic이 뭘 잘못하고 있다는 걸 증명하려고 시작한 게 아니라, 떠도는 주장을 검증하려고 시작한 거임. 지금까지 나온 증거로는 우리 벤치마크에서 Opus 5.5가 지속적이고 측정 가능한 성능 저하를 겪었다는 주장을 뒷받침할 수 없음.

앞으로 나올 모델들도 계속 추적할 거고, 평가 항목도 늘려서 전체 과정을 훨씬 더 포괄적으로 만들 생각임.

마지막으로 지금까지 이 프로젝트에 기여해 준 모든 사람한테 고맙다는 말을 전함. 수백 명의 사람들이 커뮤니티에 들어와서 방법론 토론하고, 잠재적인 문제 지적하고, 모델 행동 양식 조사하는 거 보면서 진짜 감동받았음.