독립적인 벤치마크 결과, 재출시 이후 Claude Fable 5 성능 대폭 하락... 실제 상황은 이렇습니다
Independent benchmark shows big drops on Claude Fable 5 after its relaunch, here’s the actual context
핵심 요약
Claude Fable 5의 성능 하락은 모델 가중치 변경보다는 새로운 안전 분류기가 특정 작업을 Opus 4.8로 우회시키기 때문일 가능성이 큽니다.
- 성능 하락 논란 — BridgeBench 벤치마크에서 Fable 5의 디버깅 및 리팩토링 성능이 크게 저하됨.
- 안전 분류기 도입 — 수출 통제 명령 이후 도입된 분류기가 특정 요청을 Opus 4.8로 자동 우회함.
- 모델 가중치 의문 — 실제 모델 가중치가 변경되었는지, 아니면 분류기가 너무 민감한지는 아직 확인되지 않음.
- 사용자 주의 필요 — 코딩 작업에 Fable 5를 사용하는 경우 성능 변화를 면밀히 관찰해야 함.
BridgeMind의 차트를 봤음. 그들은 7월 1일 재출시된 Fable 5와 6월 12일 오리지널 버전을 비교하는 BridgeBench(디버깅, 리팩토링, 환각 탐지를 다루는 코딩 벤치마크)를 다시 실행함.
디버깅: 86.2 → 25.9
리팩토링: 73.6 → 38.4
환각: 75.9 → 61.7
결론을 내리기 전에 알아두어야 할 맥락:
Fable 5와 Mythos 5는 6월 12일 상무부의 수출 통제 명령으로 인해 중단되었는데, 이는 모델이 악용 가능한 취약점을 노출하게 만든 jailbreak 보고와 관련이 있음. 7월 1일 돌아왔을 때, Anthropic은 보고된 기술을 99% 이상 잡아내는 새로운 안전 분류기를 추가했고, 플래그가 지정된 요청은 거부되는 대신 Opus 4.8로 조용히 우회됨.
BridgeMind가 지적하는 메커니즘이 바로 이것임. 그들의 주장은 기본 가중치가 변경되었다는 것이 아니라, 분류기가 너무 많은 일반적인 코딩 작업을 트리거하여 사용자가 모르는 사이에 Opus 4.8로 성능을 낮추고 있다는 것임. X의 다른 몇몇 사용자들도 같은 현상(지속적인 폴백, 느려진 원샷 성능)을 보고하고 있음.
독립적인 연구소에서 가중치 자체가 변경되었는지 확인한 곳은 없음. 이는 실제 성능 퇴보라기보다는 지나치게 공격적인 분류기 때문일 수 있지만, 코딩 작업에 Fable 5를 의존하고 있다면 6월 12일 이전과 같은 모델을 사용하고 있다고 가정하기 전에 이 상황을 면밀히 지켜볼 필요가 있음.
