Fable 5.1이 우리에겐 Opus 5.1처럼 보이기 시작함 > 로그상 에러율 급증
Fable 5.1 Is Starting to Look Like Opus 5.1 for Us > Our Logs Show a Sharp Rise in Error Rates
핵심 요약
Fable 5.1 도입 후 에러율과 수정 루프가 급격히 증가하여 Opus 5 시절과 유사한 성능 저하를 겪고 있다는 분석입니다.
- 성능 저하 분석 — Fable 5.1 도입 후 에러율과 수정 루프가 눈에 띄게 증가함.
- 로그 데이터 비교 — 작업 항목당 발견된 버그와 기능적 오류가 이전 대비 3~4배가량 급증함.
- 상관관계 확인 — 주관적 느낌을 넘어 텔레메트리 데이터로 에러 밀도 상승을 입증함.
우리는 에이전트 개발 환경을 빡세게 세팅해놓고 품질 로그, 검증 라운드, 기능적 발견 사항, 그리고 '이스케이프(초기 검증 단계를 통과해버린 버그)'까지 전부 기록하면서 돌리고 있음.
메인 환경을 Fable 5에서 Fable 5.1로 바꾼 뒤로 뭔가 익숙한 느낌이 들기 시작했음. 고쳤던 걸 또 고치느라 시간을 다 쓰고 있더라고. Opus 5 쓸 때 겪었던 그 좆같은 상황이랑 너무 똑같음.
그래서 그냥 느낌적인 느낌으로 말하지 말고 로그를 직접 까보기로 했다.
차이가 장난 아님. 작업 항목당 발견 건수는 1.16에서 4.22로, 기능 버그는 0.95에서 2.84로, 이스케이프 버그는 0.45에서 1.23으로 늘어남. 검증 라운드 기준으로 정규화해도 에러 수치는 눈에 띄게 높음. Low-vs-Low 비교는 더 가관임. 작업 항목당 발견 건수가 1.10 대 4.21임.
물론 이게 완벽하게 통제된 벤치마크는 아님. 우리 작업이 더 복잡해졌고 검증 시스템도 시간이 지나면서 더 빡세졌으니까, Fable 5.1이 무조건적인 원인이라고 단정 짓기는 어려움.
근데 왜 갑자기 수정 루프에 갇혀서 허우적대나 싶었는데, 텔레메트리 데이터 보니까 상관관계가 너무 확실함. Fable 5.1로 넘어가고 나서 기록된 에러 밀도가 급격하게 치솟았음.
이 정도면 그냥 기분 탓이라고 치부할 수준이 아님.
EDIT:
전체적으로 더 분석해보고 Opus 4.8 시절 데이터까지 가져와서 비교해봄. 아쉽게도 예전 데이터는 지금처럼 상세하게 분석해둔 게 아니라서 한계는 있음. 그래도 확실한 건 뭔가 바뀌었고, 그게 아주 좆같이 바뀌었다는 거임. 우리 같은 사용자들한테는 진짜 심각한 문제다.
