MineBench에서 확인한 Fable 5와 Fable 5.1의 차이점
Differences Between Fable 5 and Fable 5.1 on MineBench
핵심 요약
Fable 5.1은 Fable 5보다 추론 시간이 길어 비용이 3배 증가했지만, 실내 구현 능력은 더 뛰어난 것으로 나타났습니다.
- 비용 및 성능 — API 가격은 동일하나 추론 시간 증가로 인해 Fable 5.1의 비용이 3배 더 발생함
- 실내 구현 — Fable 5.1은 최초로 인식 가능한 수준의 실내 인테리어를 생성함
- 모델 스타일 — Fable 5.1의 결과물이 Opus 5와 유사한 스타일을 보여 우려가 제기됨
- 벤치마크 업데이트 — 사용자 프롬프트 갤러리 추가 및 마인크래프트 스타일의 1인칭 탐색 기능 도입
참고 사항
-
평균 추론 시간: 40분 12초
- Fable 5 평균: 18분 04초
-
총 비용 (빌드 15개 기준): $147.55
- Fable 5 비용: $54.93
-
평균 JSON 크기: 34.07 MiB (최대 88.76 MiB)
- Fable 5의 평균인 30.65 MiB와 거의 비슷함
API 가격 변동은 없었는데도 MineBench에서 Fable 5.1이 Fable 5보다 거의 3배나 비싸게 나왔음. 추론 시간도 대략 2배 정도 걸린 걸 보면, 비용 차이 대부분은 추론 과정이 훨씬 길어진 탓인 듯함.
Anthropic 측에선 API 가격이 그대로라고 광고하는데도 이 정도 가격 상승은 꽤 뼈아픔. 물론 GPT 5.6 Sol Pro(현재 리더보드 1위 모델)보다는 압도적으로 싸긴 함. 개인적으로 Pro 구독 쓰면서 GPT 5.6 Sol을 엄청 효율적으로 쓰고 있어서 이 결과가 꽤 흥미로운데, MineBench에서 벤치마크한 건 일반 Sol 모델이 아니라 5.6 Sol Pro 버전이라 그런가 봄 ^^
개인적으로는 Fable 5의 빌드나 스타일이 더 마음에 드는 게 좀 있음. Fable 5.1로 만든 빌드 몇 개는(우주비행사 같은 거) Opus 5 스타일이랑 너무 비슷해서 Fable 5.1로 코딩하면 어떨지 좀 걱정됨. Fable 5.1이 Opus 5 특유의 그 횡설수설하는 스타일을 따라갔다면 진짜 실망할 듯 😭
그리고 Fable 5.1이 진짜로 알아볼 만한 수준의 내부 인테리어를 구현한 첫 모델이라는 점은 진짜 신기했음! 여기 보면 Fable 5.1로 만든 오두막 내부가 나오는데(침대, 테이블, 책장, 벽난로 다 보임) – 이제 MineBench에서 voxelBox 헤더에 있는 조이스틱 아이콘 누르면 어떤 빌드든 직접 돌아다녀 볼 수 있음 :)
