Fable 5.2는 너프될까? LiveNerf 3일 차 업데이트
Will They Nerf Fable 5.2? LiveNerf Day 3 Update for Fable 5.2
핵심 요약
Claude 모델의 성능 저하를 추적하는 LiveNerf 프로젝트가 Fable 5.2의 성능 데이터를 공개했습니다.
- 성능 추적 프로젝트 — 78개의 고정된 질문 세트로 Claude 모델의 성능 변화를 매일 모니터링함
- Fable 5.2 결과 — Opus 5.5 대비 약 25% 높은 정확도를 기록하며 초기 성능을 입증함
- 실험 변수 통제 — 계정별 실험 할당값과 토큰 사용량을 기록하여 성능 변화의 원인을 분석함
- 데이터 투명성 — 사전 등록된 연구 방식과 공개된 레포지토리를 통해 객관적인 성능 데이터를 제공함
9월 24일 Opus 5.5 출시 이후로 LiveNerf를 계속 돌리고 있다. 아이디어는 꽤 간단함. 매일 똑같은 질문을 던져서 Claude가 시간이 지날수록 진짜 멍청해지는지 확인하는 거임. Opus 5.5랑 Fable 5.2 성능 추적하는 거 관심 있으면 여기 저장소 확인해 봐:
https://github.com/ninjahawk/livenerf
매일 Opus한테 GPQA Diamond, MMLU-Pro, 경시 수학, AIME에서 뽑은 78개 고정 질문 세트를 던지고 있음. 전부 Max 구독 하나로 headless Claude Code 돌려서 처리 중. 연구는 사전 등록했고, 결과는 추가만 가능하게(append-only) 해놨고, 채점은 칼같이 함.
지금까지의 Opus 결과:
출시 초기 기준점(첫 10일): 58.4%
오늘 점수: 60.3%
Nerf 감지 여부: 사전 등록한 파라미터 내에서 통계적으로 유의미한 하락은 없음.
매일 점수 변동은 좀 있었는데, 지속적인 하락세라고 볼 만한 사전 등록 기준치를 넘긴 건 없었음.
Fable 5.2 추적도 추가함.
디스코드에서 사람들이 새 모델도 넣어달라고 해서, 11월 9일 출시일부터 똑같은 질문 78개, 프롬프트, 채점기 써서 Fable도 돌리기 시작함.
지금까지 결과:
11월 9일: 63/78 (80.8%)
11월 10일: 69/78 (88.5%)
11월 11일: 66/78 (84.6%)
모든 답변은 Fable 5.2가 오류 없이 처리함. 이 패널 기준으로 Opus보다 대략 25% 포인트 정도 높음.
그래프에서 주황색 선이 Fable임. 기존 Opus 연구 방식은 바뀐 거 하나도 없음.
중요한 거 하나 말하자면, 이 질문들은 원래 Opus한테 어렵게 만들려고 고른 거라 Fable 점수가 천장에 거의 붙어 있음. 그리고 Fable은 더 최신 Claude Code 버전(2.1.319 vs 2.1.280)이 필요함. 그래서 이 선들 차이가 순수하게 모델 성능 차이만 보여주는 건 아님.
추가한 것들 몇 가지 더:
Claude Code는 계정마다 실험이랑 기능 플래그(feature flag)를 할당함. LiveNerf는 이제 매번 실행할 때마다 그 할당 내역을 SHA-256 지문으로 기록함. 실제 설정값은 안 올리고 해시값만 공개함. 내 계정 확인해 보니까 실험 18개 돌아가고 있더라. 나중에 각각 뭔지 파악되면 공유할 예정.
이게 왜 중요하냐면, 성능이 변하면 실험 할당이 그쯤에 바뀌었는지 확인할 수 있기 때문임. 지금까지 Fable 돌리는 동안에는 다 안정적이었음.
질문당 출력 토큰이랑 사고(thinking) 토큰도 추적 중임. 정확도 변하기 전에 노력(effort) 수치부터 변할 수도 있고, 실험 몇 개는 실제로 노력치랑 토큰 수에 영향을 준다는 게 밝혀졌으니까.
