MineBench.ai에서 Fable 5와 Opus 5의 차이점 비교
Differences Between Fable 5 and Opus 5 on MineBench.ai
핵심 요약
MineBench.ai 벤치마크를 통해 Fable 5와 Opus 5의 성능, 비용, 구조 설계 능력을 비교 분석함.
- 성능 비교 — Opus 5가 Fable 5보다 더 복잡하고 상세한 구조물을 생성함.
- 비용 및 효율성 — Opus 5는 토큰 효율이 낮고 내부 CoT 과정에서 토큰 제한에 걸려 비용이 더 많이 발생함.
- 모델 특성 — Fable은 간결하고 직관적인 설계를 선호하는 반면, Opus는 더 창의적이고 과도하게 설계하는 경향이 있음.
- 벤치마크 방식 — 3D Minecraft 구조물을 JSON 좌표로 생성하여 모델의 공간 이해도와 세부 묘사력을 측정함.
참고 사항
- 평균 추론 시간: 32분 10.2초 (1930.2초)
- Fable은 평균 18분 04초(1084.4초)였으니, Opus 5.0이 78% 더 오래 걸린 셈임.
- 총 비용 (15개 빌드 기준): $89.97 (빌드당 $6.00)
- Opus 5는 총 37번의 시도가 필요했고, 시도당 평균 $2.43꼴임 (그중 12번은 JSON 스키마가 잘못돼서 날린 거임)
- Fable은 $54.93 들었으니, 이번 경우엔 Opus 5.0이 Fable보다 64% 더 비싼 거임.
- 평균 JSON 크기: 91.00 MiB (최대 369.57 MiB)
- Fable 평균인 30.65 MiB의 3배 수준임.
Opus 5.0은 Opus 4.8에서 엄청나게 점프한 느낌임. 사실 이 벤치마크에서 Opus 5.0이 Fable이랑 비슷하거나 그 이상이라는 건 확실해 보임. 그래서 Opus 4.8이랑 비교하는 건 솔직히 실례지. 그렇다고 Opus 5.0이 코딩 같은 일상적인 용도에서 Fable보다 무조건 낫다는 건 아님. Fable은 시스템 프롬프트를 해석할 때 훨씬 보수적인 반면, Opus는 훨씬 자유분방해서 빌드할 때마다 장면을 창조해 내더라고. Opus 5.0으로 코딩을 해본 경험이 부족해서 얘가 솔루션을 과하게 복잡하게 만드는지, 아니면 사용자 프롬프트를 어떻게 해석하는지까지는 확답 못 하겠는데, 모델 자체는 확실히 인상적임.
이 GIF들로는 Opus 5.0의 미친 디테일을 다 보여줄 수가 없음. 예를 들어, 아케이드 기기 화면이 실제로 (진짜 CRT 모니터처럼) 휘어져 있었거든. 그리고 Opus 5.0은 빌드 내부를 제대로 구현한 최초의 모델임. 마천루 빌드를 보면 건물마다 층이 제대로 나뉘어 있음. 물론 층 내부는 텅 비어 있고 가구도 없지만, 어쨌든 층이 존재한다는 게 중요함. 오두막 빌드도 다락방이 제대로 구현돼 있고. 참고로 이전 모델들은 내부를 그냥 텅 비워두거나, 아니면 블록으로 꽉 채워버리는 게 다였음.
