3라운드: Claude Opus 4.7 1M vs Opus 4.7 vs Opus 4.6 Legacy vs Sonnet 4.6, 동일한 React 기능 구현 과제에서의 노력 수준별 비교
Round 3: Claude Opus 4.7 1M vs Opus 4.7 vs Opus 4.6 Legacy vs Sonnet 4.6 across effort levels on the same real React feature-build task
핵심 요약
Claude Opus 4.7 1M 모델이 전반적으로 가장 우수한 성능을 보였으나, 'Max' 노력 수준이 항상 더 나은 결과를 보장하지는 않음.
- 모델 성능 비교 — Claude Opus 4.7 1M이 코드 품질 점수에서 가장 높은 성적을 기록함.
- 노력 수준 효율성 — 무조건 높은 노력(Max) 설정이 더 나은 품질을 보장하지 않으며 비용만 증가시킬 수 있음.
- 실제 프로젝트 테스트 — React 앱 기능 구현이라는 실무적인 과제로 모델 간 성능 차이를 검증함.
- 향후 비교 계획 — 이번 결과를 바탕으로 OpenAI 모델들과의 가성비 및 성능 비교를 진행할 예정임.
자, 3라운드 시작합니다.
며칠 전 2라운드 결과를 올렸었죠. 벤치마크를 통해 GPT-5.4, GPT-5.5, GPT-5.3-codex, GPT-5.4-mini를 같은 React 프로젝트와 기능 구현 프롬프트로 테스트했습니다. 테스트에 사용된 노트 앱은 여기 있습니다.
이번 라운드는 첫 번째 실험에서 얻은 많은 유용한 피드백을 반영한 결과입니다.
첫 번째 버전은 Git 저장소(Express JS) 요약을 기반으로 했지만, 요약 방식은 매우 주관적이라는 문제가 있었습니다(모든 요약은 관점이나 선호도에 따라 본질적으로 '정답'이 될 수 있으니까요).
그래서 2라운드부터는 더 실용적인 방식으로 바꿨습니다. 모든 모델에 동일한 저장소 내에서 동일한 실제 코딩 과제를 주고, 실제 기능 구현을 비교하는 방식이죠.
3라운드에서는 Claude Code를 통해 Anthropic 모델들로 같은 방식의 실험을 반복했습니다.
테스트한 모델 및 모델 제품군은 다음과 같습니다:
- Claude Opus 4.7 1M
- Claude Opus 4.7
- Claude Sonnet 4.6
- Claude Opus 4.6 Legacy
- Claude Haiku 4.5 (결과 도출 실패로 최종 결과에서는 제외)
과제는 이전과 동일한 실제 기능 구현 벤치마크였습니다. 기존 앱 동작을 유지하고 프롬프트 제약 조건을 준수하면서 작은 React 노트 앱 내에 개요 패널을 구현하는 것이었죠.
