MineBench.ai에서 Fable 5와 Opus 5의 차이점 비교

이 GIF들로는 Opus 5.0의 미친 디테일을 다 보여줄 수가 없음. 예를 들어, 아케이드 기기 화면이 실제로 (진짜 CRT 모니터처럼) 휘어져 있었거든. 그리고 Opus 5.0은 빌드 내부를 제대로 구현한 최초의 모델임. 마천루 빌드를 보면 건물마다 층이 제대로 나뉘어 있음. 물론 층 내부는 텅 비어 있고 가구도 없지만, 어쨌든 층이 존재한다는 게 중요함. 오두막 빌드도 다락방이 제대로 구현돼 있고. 참고로 이전 모델들은 내부를 그냥 텅 비워두거나, 아니면 블록으로 꽉 채워버리는 게 다였음.

최근 모델들은 MineBench에서 빌드할 때 창의성이나 디자인 선택지 차이에 집중하는 경향이 있었는데, Opus 5.0은 빌드 퀄리티 자체가 확실히 좋아진 첫 모델이라고 봄. 그래, 벤치마크가 포화 상태라는 건 나도 알아. 그래서 더 어려운 프롬프트를 찾고 있긴 한데... 프롬프트 하나 추가할 때마다 50개 넘는 모델을 벤치마크 돌리는 게 비용이 장난이 아니거든 😭

근데 다른 Anthropic 모델들이랑 마찬가지로, Opus 5.0은 토큰 효율이 진짜 개판임. Opus 5.0 벤치마크 비용이 이렇게 비싼 유일한 이유는, 추론을 최대로 돌리면 JSON 응답을 다 끝내기도 전에 토큰 제한에 걸리기 때문임. JSON 출력 자체가 커서가 아니라, 내부 CoT(생각의 사슬) 과정에서 토큰을 너무 많이 잡아먹어서 JSON 출력이 잘려버리는 게 주원인임. 그래서 벤치마크 빌드를 계속 다시 시도해야 하는 거고.

전체 릴리스 노트 및 생각은 GitHub 릴리스에서 확인 가능.

• 이 글들이 도움 됐다면 벤치마크를 후원 해주는 것도 환영함
  • 모든 후원금은 새로운 프롬프트 벤치마크를 위한 API 비용으로 바로 들어감 ^^
  • 벤치마크 공유해주거나 깃허브 저장소에 스타 눌러주는 것도 큰 힘이 됨 :)

벤치마크: https://minebench.ai/
깃허브 저장소: https://github.com/Ammaar-Alam/minebench

이전 게시물:

• Comparing GPT-5.5 Pro and GPT-5.6 Sol
• Comparing Opus 4.8 and Fable 5
• Comparing Opus 4.7 and Opus 4.8
• Comparing GPT 5.4 and GPT 5.5
• Comparing Kimi K2.5 and Kimi K2.6
• Comparing Opus 4.6 and Opus 4.7
• Comparing GPT 5.4 and GPT 5.4-Pro
• Comparing GPT 5.2 and GPT 5.4
• Comparing GPT 5.2 and GPT 5.3-Codex
• Comparing Opus 4.5 and 4.6, also answered some questions about the benchmark
• Comparing Opus 4.6 and GPT-5.2 Pro
• Comparing Gemini 3.0 and Gemini 3.1

추가 정보 (헷갈리는 사람들을 위해):

본질적으로 이건 모델이 마인크래프트 같은 3D 구조물을 얼마나 잘 만드는지 테스트하는 벤치마크야.

모델한테 블록 팔레트(레고 같은 거라고 생각하면 됨)랑 뭘 만들지 프롬프트를 던져줘. 예를 들어 이 글 처음에 나온 프롬프트가 전투기였지? 그럼 모델들은 각 블록(레고)의 좌표(x, y, z)를 담은 JSON을 반환해서 전투기를 만들어야 해. 어떤 모델이 주어진 프롬프트를 더 그럴싸한 3D 형태로 구현해내는지 보는 게 꽤 흥미로울 거야.

똑똑한 모델일수록 훨씬 디테일하고 복잡하게 잘 만들어. 저장소 리드미(readme)를 읽어보면 이해가 더 빠를 거야.

(면책 조항: 이건 내가 만든 공개 벤치마크라, 엄밀히 말하면 셀프 홍보임 :))