Nerf 논란과 LiveNerf 같은 벤치마크: 같은 동전의 양면, 너무나 다른 결과
Nerf debates and benchmarks such as livenerf: Two sides of the same coin, vastly different results
핵심 요약
LiveNerf 벤치마크가 실제 에이전트 작업의 성능 저하를 포착하지 못하는 이유를 분석하고, A/B 테스트 환경에서의 모델 성능 변화를 지적함.
- 벤치마크 한계 — LiveNerf는 정적인 시험 문제 위주라 실제 에이전트 루프의 토큰 사용량 변화를 반영하지 못함
- 로그 기반 분석 — 작성자는 자신의 멀티 에이전트 파이프라인 로그를 통해 Opus의 토큰 사용량이 급증했음을 확인
- A/B 테스트 의혹 — 모델 성능이 계정마다 다르게 적용되는 A/B 테스트 환경 때문에 단일 계정 벤치마크는 신뢰하기 어려움
- 실제 사용 경험 — 시험 점수는 동일해도 실제 에이전트 작업 시 토큰 소모가 2~3배 늘어나는 현상이 발생함
LiveNerf 47일 차 업데이트가 나왔는데, 결론부터 말하자면 47일 동안 3,666개 샘플을 돌려봤는데 너프는 없었다는 거임. https://www.reddit.com/r/ClaudeAI/comments/1xriv9l/has_anthropic_nerfed_opus_55_livenerf_day_47/
뭐 데이터가 틀렸다는 건 아님. 그냥 우리가 실제로 불만 가지는 부분이랑은 좀 다른 걸 측정하고 있는 것 같음.
상황 설명 좀 하자면, 며칠 전에 r/ClaudeCode에 내 세팅에서 나온 수치들을 댓글로 달았는데, 사람들이 LiveNerf랑은 어떻게 다른 거냐고 많이 물어보더라고. https://www.reddit.com/r/ClaudeCode/s/GF94JJ2ooQ
난 Claude Code에서 멀티 에이전트 파이프라인을 돌림. Opus가 빌드하고, Opus가 검수랑 비주얼 체크하고, Sonnet이 리뷰하고, Haiku가 테스트를 돌리는 식임. 모든 응답을 로그로 남겨두니까 느낌적인 느낌이 아니라 실제로 무슨 일이 일어났는지 확인할 수 있음. 그래서 내 로그를 뽑아서 LiveNerf 공개 데이터랑 비교해 봤음. (사진 1)
응답당 출력 토큰, 일일 중앙값임. 파란색이 내 Opus 빌더들인데, 11월 3일엔 ~420개, 11월 4일엔 ~1,080개, 11월 5일엔 ~1,150개였음. 같은 작업, 같은 실행 환경에서 돌린 Sonnet이랑 Haiku는 변화가 없었음. 주황색 점선이 LiveNerf에서 발표한 같은 날짜 수치인데, 그냥 평평함. (사진 2)
역할별로 쪼개 봐도 똑같음. Opus 역할은 전부 다 튀었는데, 비주얼 체커는 6배 넘게 뛰었음. Sonnet이랑 Haiku는 그대로였고.
누가 "니 프로젝트가 커진 거 아님?" 혹은 "뭐 바꾼 거 아님?"이라고 할까 봐 미리 말하는데, 다 확인해 봄. 빌더 시스템 프롬프트랑 도구 체크섬은 전후가 똑같고, Claude Code 버전도 둘 다 2.1.309로 동일하고, 모델 ID랑 작업 강도도 같음. 11월 2일 저녁부터 11월 4일 오후까지 내 변경 로그는 아예 없음. 그리고 내 빌더들은 레포 전체가 아니라 ~5k 토큰짜리 브리프로 시작함.
그럼 왜 LiveNerf는 이걸 못 잡는 걸까? 레포(README, eval card, 사전 등록, 일일 csv)를 싹 다 뒤져봤음. 솔직히 잘 만들긴 했음. 사전 등록도 되어 있고, 대조군도 있고 데이터도 다 공개되어 있으니까. 근데 문제는 이거임:
