Opus 5.5가 너프됐다고? 전혀 아닌 것 같은데. LiveNerf 29일 차 업데이트
Did they nerf Opus 5.5? Doesn’t look like it. LiveNerf day 29 update
핵심 요약
29일간의 데이터 추적 결과, Opus 5.5 모델의 성능 저하(너프)는 발견되지 않았습니다.
- 성능 추적 프로젝트 — 29일간의 데이터로 Opus 5.5의 성능 변화를 독립적으로 검증함
- 너프 의혹 해소 — 수집된 데이터상 모델 성능 저하 징후는 나타나지 않음
- 향후 계획 — Fable 5.5 출시 시 동일한 방식으로 성능 추적 및 모니터링 확대 예정
- 사용량 논쟁 — 모델 성능과는 별개로 사용량 제한에 대한 사용자들의 의견이 엇갈림
한 달 전쯤에 모델 성능 변화를 추적하려고 LiveNerf를 시작했거든. 근데 생각보다 일이 훨씬 커져 버렸네. 깃허브에서 별도 1,500개 가까이 받았고, Opus 5.5 모델 성능 데이터를 벌써 29일 연속으로 쌓았어. Opus 5.5 성능 추적하는 거 관심 있는 사람들은 여기 저장소 확인해 봐:
https://github.com/ninjahawk/livenerf
29일 동안 모은 데이터 보면 알겠지만, 성능 너프는 전혀 없었어. Anthropic이 모델을 너프한다는 의혹은 힘이 좀 빠지게 됐지. 적어도 LiveNerf가 감지할 수 있는 수준인 6.6점 이상의 너프는 Opus 5.5에 없었다는 소리니까.
우리는 편향되지 않은 데이터를 뽑아서 Anthropic이 진짜 모델 너프를 하는지 확인하려고 시작했고, 그 목적은 충분히 달성했다고 봐.
근데 아직 끝난 게 아니야.
Anthropic은 시간이 지나도 모델 성능을 안 떨어뜨릴지 몰라도, 다른 회사들은 다를 수도 있잖아.
앞으로 LiveNerf를 확장해서 똑같은 과학적 방식으로 다른 모델들이나 API도 독립적으로 추적해 볼 생각이야. 지금 자금 지원 관련해서 얘기 중이긴 한데 아직 확정된 건 없어. 지원금 들어오면 훨씬 크게 키워볼 예정임. 며칠 내로 결과 나오겠지.
지금까지 커뮤니티에서 다들 참여해 줘서 진짜 고맙다. Fable 5.5 나오면 똑같은 방식으로 추적할 거고, 다른 모델들도 때 되면 다 할 거야. 독립적인 투명성을 확보하려고 커뮤니티가 이렇게 뭉쳐주는 거 보니까 진짜 감동이다. 다들 너무 고마워.
댓글로 피드백 좀 남겨줘. 우리가 다르게 했으면 좋았을 법한 부분 있어? 아니면 특정 방식이 좀 마음에 안 들었다거나 하는 거 있으면 다 말해줘.
