r/ClaudeAI•5개월 전•774•83
MineBench에서 확인한 Claude Opus 4.6과 4.7의 차이점
Differences Between Opus 4.6 and Opus 4.7 on MineBench
핵심 요약
MineBench를 통해 Claude Opus 4.6과 4.7의 3D 구조 생성 성능을 비교하고, 4.7의 일관성 부족과 변화된 동작 방식을 분석함.
- 성능 비교 — MineBench를 활용해 Claude Opus 4.6과 4.7의 3D 구조 생성 능력을 테스트함.
- 일관성 문제 — 4.7 버전이 이전 모델보다 창의적 작업에서 일관성이 떨어지고 풍경에 과도하게 집중하는 경향을 보임.
- 동작 방식 변화 — Anthropic의 모델 마이그레이션 가이드에 따라 4.7은 작업 복잡도에 맞춰 응답 길이를 조정하도록 변경됨.
- 비용 및 효율 — 빌드당 평균 43분 소요 및 약 275달러의 비용이 발생하며, 4.6 대비 툴 사용과 캐시 토큰 활용이 강화됨.
몇 가지 참고 사항:
- 현재 SOTA 모델로 여겨지고 거의 모든 벤치마크에서 다른 모든 모델을 능가한다고 하지만, 솔직히 훨씬 더 일관성이 있을 것으로 기대했습니다.
- 때때로 풍경(아케이드나 오두막 빌드 같은)에 너무 집중하는 것을 볼 수 있는데, 프롬프트는 동일하게 유지되었고 Gemini 3.1과 GPT 5.4도 동일한 프롬프트로 벤치마크되었습니다.
- 프롬프트는 모델이 풍경에 더 집중할지 여부를 스스로 결정하도록 장려하는데, 이는 Opus 4.7이 Opus 4.6보다 창의적/브레인스토밍 작업에서 그만큼 좋지 않다는 것을 나타낼 수 있습니다?
- 또한 일관성 없는 결과는 적응형 사고 모드 때문일 수도 있지만, Anthropic은 향후 모든 모델에 대해 기본 사고 모드를 중단했기 때문에 실제로 테스트할 수는 없습니다.
- 때때로 풍경(아케이드나 오두막 빌드 같은)에 너무 집중하는 것을 볼 수 있는데, 프롬프트는 동일하게 유지되었고 Gemini 3.1과 GPT 5.4도 동일한 프롬프트로 벤치마크되었습니다.
- 빌드당 평균 추론 시간: ~2600초 (약 43분)
- 총 비용은 약 $275였습니다.
- Opus 4.6이 훨씬 저렴했던 것으로 기억하지만, 벤치마크가 툴 사용과 캐시 토큰을 더 선호하는 방향으로 약간 진화했습니다.
- 이 게시물이 즐거우셨다면 벤치마크 후원을 고려해 주세요.
벤치마크: https://minebench.ai/
Git 저장소: https://github.com/Ammaar-Alam/minebench
이전 게시물:
