MineBench에서 Opus 4.7과 Opus 4.8의 차이점
Differences Between Opus 4.7 and Opus 4.8 on MineBench
핵심 요약
MineBench를 통해 Claude Opus 4.8의 성능과 비용 효율성을 4.7 버전과 비교 분석한 결과입니다.
- 성능 개선 — Opus 4.8은 4.7 대비 더 정교하고 창의적인 3D 빌드 결과물을 보여줌
- 비용 효율성 — CoT 최적화로 인해 API 호출 비용이 4.7보다 훨씬 저렴해짐
- 모델 안정성 — 할루시네이션은 여전히 존재하지만 적응형 사고 기능이 개선됨
- 벤치마크 방식 — 모델이 주어진 블록 팔레트로 마인크래프트 구조물을 생성하여 성능을 측정함
참고할 점:
평균 추론 시간: 24.8분 (1,487초)
총비용 (빌드 15회 기준): $41.52
API 가격은 똑같은데 Opus 4.7보다 훨씬 싸게 먹힘
CoT(생각하는 시간)가 확실히 최적화됐음. OpenAI가 최근 모델들 내놓으면서 한 거랑 비슷한 방식인데, 덕분에 전체 비용은 줄었음. 근데 결과물 퀄리티는 Opus 4.7보다 나아서 아주 만족스러움.
개인적으로 오랜만에 진짜 제대로 된 물건 나왔다는 느낌이 드는 Claude 모델임. 빌드 퀄리티가 GPT 5.5랑 비벼볼 만함. 물론 좀 들쭉날쭉하긴 한데 이 정도면 훌륭함.
생성하는 동안 빌드 5번은 다시 돌려야 했음. 주어진 블록 팔레트에 없는 블록을 쓴다거나(환각 증상), JSON 형식이 망가져서 나온 게 원인임.
Claude 모델 종특이라 놀랍진 않은데, 이번엔 적응형 사고(adaptive thinking)가 좀 더 잘 먹히는 듯. 예전엔 CoT에 토큰 다 쏟아붓느라 정작 JSON 출력할 토큰이 모자라서 빌드 끝까지 못 마치는 경우가 많았거든.
내 생각엔 Opus 4.8이 Opus 4.7보다 확실히 나음. 아니면 원래 Opus 4.7이 이랬어야 하는 건지도 모르겠고 🤷♂️
업데이트 상세 내용은 GitHub 릴리즈 페이지에서 확인 가능함 (제보 고맙다!)
이런 글 도움 됐다면 벤치마크 후원 좀 부탁함.
Benchmark: https://minebench.ai/
Git Repository: https://github.com/Ammaar-Alam/minebench
이전 글들:
GPT 5.4 vs GPT 5.5 비교
Kimi K2.5 vs Kimi K2.6 비교
Opus 4.6 vs Opus 4.7 비교
GPT 5.4 vs GPT 5.4-Pro 비교
GPT 5.2 vs GPT 5.4 비교
GPT 5.2 vs GPT 5.3-Codex 비교
Opus 4.5 vs 4.6 비교 (벤치마크 관련 질문 답변 포함)
