Fable 5가 문서 생성 부문에서 현재 10위를 기록 중입니다. 상위 모델들은 전부 더 저렴하네요.
Fable 5 is currently ranked #10 at document generation. Every model above it is cheaper.
핵심 요약
문서 생성 벤치마크에서 Fable 5가 높은 비용 대비 낮은 성능을 보여 논란이 되고 있습니다.
- 벤치마크 결과 — Fable 5가 문서 생성 품질에서 10위에 머무름
- 비용 효율성 — 상위 9개 모델이 Fable 5보다 저렴하고 성능도 우수함
- 평가 방식 — 313명의 투표와 4,000개 이상의 블라인드 테스트로 순위 산정
- 모델 비교 — Qwen, Gemini, Opus 등 경쟁 모델이 가성비에서 앞서 나감
나는 Anthropic의 플래그십 모델이 비싸더라도 품질의 정점에 있을 것이라고 기대했다.
현재 결과는 그보다 훨씬 나쁘다.
나는 동일한 8개의 파워포인트 및 워드 작업에 대해 동일한 최소 에이전트, 환경, 문서 기술을 사용하여 30개의 모델을 테스트했다. 완성된 파일들은 블라인드 인간 비교를 통해 순위가 매겨졌다.
313명의 서로 다른 투표자로부터 4,000표 이상을 받은 후, Claude Fable 5는 문서당 약 1.07달러의 비용이 들면서 10위에 머물렀다.
그보다 앞선 모든 모델은 비용이 더 저렴하다.
Qwen3.7 Plus는 0.07달러로 3위, MiniMax-M3는 0.17달러로 5위, Grok 4.5는 0.22달러로 6위, Gemini 3.5 Flash는 0.56달러로 7위다. 심지어 Claude Opus 4.8도 0.84달러로 더 높은 순위를 기록했다.
가드레일 때문에 Fable은 8개의 작업 중 7개만 완료한 반면, Opus는 8개 모두 완료했다.
품질-비용 차트에서 Fable은 파레토 최적선에 근접하지 못했다. 현재 더 저렴하면서도 더 자주 선호되는 9개의 모델에 의해 압도당하고 있다.
추신: 이는 강력한 결과이지만, 최근 더 많은 모델을 추가했고 새로운 비교 데이터는 아직 부족하다. DocBench Arena에 더 많은 투표가 들어오면 순위는 크게 변동될 수 있다.
