앤스로픽이 Opus 5.5 모델 성능을 하향 조정(너프)하고 있을까? LiveNerf 20일 차 업데이트
Are They Nerfing Opus 5.5? Livenerf Day 20 update
핵심 요약
LiveNerf 프로젝트가 3주간 모델 성능을 추적한 결과, 현재까지는 모델 성능 하향 조정의 증거가 발견되지 않았습니다.
- 성능 추적 프로젝트 — LiveNerf를 통해 Anthropic 모델의 성능 저하 여부를 데이터로 검증함
- 데이터 분석 결과 — 현재까지 수집된 데이터상으로는 모델 성능의 유의미한 하향 조정은 없음
- 사용량 제한 논란 — 모델 성능 자체보다는 사용량 제한(usage limit)이 강화되었다는 사용자들의 불만이 제기됨
- 커뮤니티 참여 요청 — 특정 시간대 성능 저하를 경험한 사용자들의 구체적인 사례 제보를 기다림
3주 전부터 LiveNerf를 써서 모델 성능 변화를 추적하기 시작했어. Anthropic이 모델 출시 후에 성능을 몰래 낮추는지(nerfing) 편향되지 않은 데이터로 증명해보려는 게 목적이었지. 그날 이후로 매일 측정해봤는데, 결과가 커뮤니티가 예상했던 거랑은 좀 다른 것 같아. Opus 5.5 성능 추적에 관심 있는 형들은 여기 저장소 확인해봐:
https://github.com/ninjahawk/livenerf
왼쪽 1/3 지점을 보면, 기준점을 잡던 초기 10일 동안은 편차가 꽤 컸어. 근데 그 뒤 11일 동안은 오히려 편차가 줄어들면서 평균으로 회귀하는 모습이 보이네. 즉, 성능 하락이 실제로 일어나고 있다면 우리가 지금까지 모은 데이터 안에서는 아직 포착되지 않았다는 뜻이야.
그렇다고 Anthropic이 다른 방식으로 성능을 안 깎고 있다는 건 아냐. 우리가 측정하는 방식이 하루 24시간 내내 똑같은 결과를 보장한다는 의미도 아니고. 걔네가 특정 시간대에만 성능 제한을 걸고 나머지는 풀어둘 수도 있는 거니까.
그래서 이제 커뮤니티 형들의 도움이 좀 필요해. 3주 동안 쌓인 꽤 괜찮은 데이터가 있으니까, 이제 형들이 직접 모델한테 물어보거나 확인해줬으면 하는 게 있어:
“Y일 X시에 성능이 떨어진 걸 체감했나? 만약 그렇다면, 구체적으로 어떤 부분이 문제였나?”
이런 증언들이 객관적인 지표가 되긴 어렵겠지만, 특정 날짜에 우리가 모은 데이터와 어떤 상관관계가 있는지 확인해보면 꽤 흥미로울 것 같아.
지난 한 달 동안 보내준 성원에 정말 고마워. 몇 주 만에 별 1.5k 개를 넘길 줄은 꿈에도 몰랐고, 프로젝트에 후원까지 해줄 줄은 더더욱 몰랐거든. 후원금은 전부 모델 추적 규모를 키우기 위한 컴퓨팅 자원 확보에 쓸 거야. Opus 5.5나 성능 하락 추적만 하고 끝낼 생각은 없거든.
10일 뒤에 최종 결론을 가지고 돌아올게. LiveNerf가 수집하는 특정 기준 하에서 모델 성능이 떨어지는지 아닌지 확실하게 판가름 내주겠어. 곧 보자고!
