r/ChatGPT•3개월 전•262•75논쟁
GPT-5.6 Sol: Opus 4.8 성능을 40% 비용으로 구현
GPT-5.6 Sol: Opus 4.8 perf @ 40% of the cost
핵심 요약
GPT-5.6 Sol이 효율성을 앞세워 벤치마크 상위권에 진입했으나, 성능 기대치에 대한 사용자들의 반응은 엇갈리고 있습니다.
- 효율성 중심 — GPT-5.6 Sol이 저비용 고효율 모델로 등장함
- 벤치마크 성능 — Senior SWE-bench에서 Opus 4.8 수준의 성능을 40% 비용으로 달성함
- 모델 비교 — Grok 4.5 등 경쟁 모델들도 비용 효율성을 강화하는 추세임
- 평가 방식 — 실제 실무 성능과 벤치마크 지표 간의 괴리에 대한 논쟁이 발생함
GPT-5.6 Sol이 오픈 소스 벤치마크인 Senior SWE-bench의 파레토 프론티어에 합류했으며, 효율성으로 향하는 분명한 추세가 보입니다. 간단 요약:
- GPT-5.6 Sol: Opus 4.8 성능을 40% 비용으로 구현
- Grok 4.5: GPT-5.5 성능을 25% 비용으로 구현
- Grok 4.5는 시니어 레벨 버그 해결 부문에서 2위로 올라섰지만, 작업당 비용은 약 $1에 불과함
참고로, Senior SWE-Bench는 제 동료가 개발한 시니어 엔지니어로서의 에이전트 능력을 평가하기 위한 벤치마크입니다. Senior SWE-Bench는 오픈 소스이며 Harbor와 호환됩니다. 초기 릴리스에는 총 100개의 작업이 포함되어 있으며, 오염을 방지하기 위해 50개는 비공개로 유지되었습니다.
