r/codex•약 6시간 전•97•23
GPT 5.6 Luna vs GPT 6 Luna vs Haiku 5.5 하드 문제 벤치마크 (이미지 포함)
GPT 5.6 Luna vs GPT 6 Luna vs Haiku 5.5 benchmark on hard problems (with pictures)
핵심 요약
다양한 모델과 추론 강도별로 고난도 코딩 문제를 테스트한 결과, 모델별 성능 차이와 효율적인 추론 설정에 대한 분석입니다.
- 모델 성능 비교 — GPT와 Anthropic 모델 간의 수학 및 알고리즘 해결 능력 차이를 분석함
- 추론 강도 설정 — 무조건 높은 강도가 좋은 것은 아니며, 적절한 설정이 시간 낭비를 줄여줌
- 처리 속도 문제 — GPT 모델의 경쟁력을 위해 현재보다 50% 빠른 처리 속도가 필요함
- 실무 활용 팁 — 코드 탐색에는 Luna, 버그 수정에는 Sol 모델 사용을 권장함
이번 벤치마크 문제는 실제 상금도 걸려 있고 우승하면 취업 제안까지 받을 수 있었던 DeepInfra Round 1 챌린지에서 가져왔다. 대회 문제 중 레이팅 2000짜리인데, 제일 어려운 건 3500이니까 아주 어려운 건 아님: https://codeforces.com/problemset/problem/2271/H2
----------------------------------------------------------------------------
GPT 5.6 Luna:
-
High: 12분 27초 동안 돌렸는데 테스트 2에서 오답 뜸.
-
Xhigh: 36분 53초 만에 통과.
----------------------------------------------------------------------------
GPT 6 Luna:
- High: 5분도 안 돼서 문제 못 풀겠다고 포기함:
