와, Fable 5.2 작업당 비용 미쳤네. 광고랑 다르게 Fable 5.1보다 저렴하지도 않음.

새로운 Claude 모델이 나올 때마다 'Max' 설정으로만 작업당 비용 결과를 보여주는 글이 올라오지 않도록 이 서브레딧에 공지를 박아둘 필요가 있음.

맞음. 형편없는 벤치마킹 방식임.

결국 엄청 똑똑한 모델한테 실수하지 말라고 시키고, 코드가 맞는지 철학적 고민까지 하게 만드는 'Max' 설정으로 벤치마크하는 건 좋은 방법이 아니라는 거지.

The Graph (tm)을 올리지 않고 'Max' 설정으로만 비교하는 건 오해의 소지가 있음. Fable 5.2는 'Max'에서 과도하게 생각을 많이 함. Opus 5.5처럼 낮은 설정이나, 최고의 성능을 원하면 'xhigh'가 적정선임.

Fable 'High'를 테스트해 봤는데 토큰을 너무 빨리 태워 먹어서, 'Medium'이 경제적인 것 같음. 몇 가지 작업을 시켜봤는데 별로 감흥이 없었음. Opus 5.5랑 성능은 비슷한데 사용량은 더 적음. 물론 아주 초기 단계긴 하지만, Opus 5.6이 나오기 전까지 Fable 5.2를 좋아 보이게 하려고 Opus 5.5 성능을 너프할까 봐 걱정됨.