Fable >>>> Opus 5

벤치마크는 특정 작업을 위한 합성 측정 도구일 뿐임.

Sol 5.6이랑 Opus 5는 벤치마크상으로는 Fable 5와 비슷하거나 더 좋게 나오기도 함. 근데 비교해보면 둘 다 멍청하게 느껴짐.

Fable은 비효율적이고 구현을 망칠 순 있어도, 판단력이나 전반적인 지능의 느낌은 완전히 다름. 이런 건 벤치마크하기가 더 어렵지.

요약하자면: Fable은 진짜로 똑똑하게 느껴짐. 벤치마크 점수가 비슷한 다른 모델들은 특정 분야에만 특화된 자폐적 성향의 모델 같음.

나는 Opus 5가 작고 새로운 프로젝트에서는 꽤 유능하고 효율적이라고 생각함. 벤치마크가 작동하는 방식이 딱 그거지. 하지만 규모가 큰 기존 프로젝트에서는 고통스러움. 관례를 무시하고, PR에서 건드리지 말아야 할 걸 수정하려 들고, 요구사항을 무시하는 등등. 회사에서 Fable을 쓸 여유는 없어서, 차라리 똑똑하진 않아도 시키는 대로 잘 따르는 Sonnet을 주로 쓰고 싶음.

최근에 웃긴 일이 있었음. 프로그램을 짜고 있는데 현재 방식이 막다른 길처럼 느껴져서 아키텍처를 바꿀까 고민 중이었음. Opus 5는 계속 기존 방식을 고수하라고 설득했고, Gemini 3.1 Pro는 바꾸라고 하면서 방법까지 알려주더라고. 심지어 구현할 스크립트까지 줬음.

Opus로 적대적 검토를 돌려봤는데, Gemini의 방식은 작동하지 않을 거라며 다시 한번 기존 방식을 고수해야 한다고 결론 내림.

나는 그 본문을 확인했는데...

안 그러는데. Claude 문서에 용도 차이가 꽤 명확하게 나와 있음.

Anthropic이 벤치마크 표를 포함해서 홍보하는 방식이 두 모델 사이의 엄청난 격차를 제대로 보여주지 못한다는 작성자의 말에 일리가 있다고 봄. Fable이 체급이 다를 정도로 훨씬 나음.

벤치마크는 여러 작업에서 정반대의 결과를 보여줌. 내가 말했듯이, 둘은 애초에 목적이 다르게 설계됐음. Fable은 오케스트레이터, Opus 5는 서브 에이전트로.

그게 바로 그렇게 사용해야 하는 이유지.

몇 달 전에는 이게 Opus랑 Sonnet 사이의 관계 아니었나?