r/OpenAI•6일 전•132•31

DeepSWE에서 GPT 6 Sol이 GPT 5.6 Sol보다 낮은 점수를 기록함

GPT 6 Sol worse than GPT 5.6 Sol on DeepSWE

핵심 요약

GPT 6 Sol이 이전 모델보다 벤치마크 점수는 낮지만, 비용 효율성과 실사용 성능 면에서 더 낫다는 평가가 지배적입니다.

벤치마크 결과 — GPT 6 Sol이 DeepSWE에서 68.8%를 기록하며 5.6 Max의 72.7%보다 낮은 성능을 보임
비용 효율성 — 점수는 소폭 하락했으나 토큰 사용량과 처리 시간이 절반 이하로 줄어들어 실사용자에게는 더 유리함
모델 활용 — Luna 6 모델이 에이전트 작업에서 뛰어난 효율을 보이며 실무에서 강력한 성능을 발휘함
안전성 강조 — 일부 사용자는 성능 수치보다 모델의 안전성이 더 중요한 지표라고 평가함

r/OpenAI - GPT 6 Sol이 DeepSWE에서 GPT 5.6 Sol보다 점수 낮음

DeepSWE 벤치마크에서 GPT 5.6 Max는 72.7%를 찍었는데, GPT 6 Sol은 68.8%밖에 안 나옴.

원문

커뮤니티 목록

r/OpenAI•6일 전•132•31

DeepSWE에서 GPT 6 Sol이 GPT 5.6 Sol보다 낮은 점수를 기록함

GPT 6 Sol worse than GPT 5.6 Sol on DeepSWE

핵심 요약

GPT 6 Sol이 이전 모델보다 벤치마크 점수는 낮지만, 비용 효율성과 실사용 성능 면에서 더 낫다는 평가가 지배적입니다.

벤치마크 결과 — GPT 6 Sol이 DeepSWE에서 68.8%를 기록하며 5.6 Max의 72.7%보다 낮은 성능을 보임
비용 효율성 — 점수는 소폭 하락했으나 토큰 사용량과 처리 시간이 절반 이하로 줄어들어 실사용자에게는 더 유리함
모델 활용 — Luna 6 모델이 에이전트 작업에서 뛰어난 효율을 보이며 실무에서 강력한 성능을 발휘함
안전성 강조 — 일부 사용자는 성능 수치보다 모델의 안전성이 더 중요한 지표라고 평가함

DeepSWE 벤치마크에서 GPT 5.6 Max는 72.7%를 찍었는데, GPT 6 Sol은 68.8%밖에 안 나옴.

주요 댓글

r/openai

GPT 모델 성능 변화에 대한 사용자들의 의견이 엇갈리는 가운데, 모델 경량화 목적에 대한 분석이 나오고 있음.

점수가 5% 낮아진 대신 비용이 50% 이상 저렴해진 걸 나쁘다고 할 순 없지.. 나 같은 사용자 입장에서는 훨씬 나아 보임. 거의 같은 작업을 수행하면서 토큰이랑 시간도 훨씬 적게 쓰니까.

디버깅이랑 빌드 툴 이해하는 데 엄청 공들여야 하는 프로젝트들에 쓰고 있는데, 진짜 대박임. 주간 사용량도 거의 안 잡아먹고. 이제 벤치마크 점수 따위는 신경 안 씀. 난 결과가 중요하거든(비록 개인적인 경험일지라도). 나한테는 결과가 아주 끝내줌. Astra로 Apple II 소프트웨어 빌드하고 디버깅하는 툴을 만들었거든. 그러고 나서 Sol 6로 Apple II 소프트웨어를 빌드했는데, 최종 결과물에 버그가 하나도 없음. 보통은 수정해야 할 큰 버그들이 꼭 있어서 이런 적은 처음임.

작업당 비용을 확인해 봐. sol 6 max는 sol 5.6 high랑 맞먹어. sol 6 high나 sol 5.6 medium 정도의 지능 이상이 필요하지 않은 경우에만 더 저렴하다는 이점이 있지. opus 5.5랑 비교하면 성능은 그냥 장난 수준임.

난 개인적으로 크고 비싸고 오래 걸리는 모델보다는 하네스나 프롬프트 엔지니어링이 훨씬 낫다고 믿는 쪽임. 그리고 작업당 비용 확인하라는 게 무슨 소리야, 그게 바로 내가 OP 차트에서 언급한 내용인데.

Opus 5.5가 Astra보다 토큰을 더 많이 잡아먹을 수 있음..

그럼 챗 유저들한테는 더 안 좋아졌다는 거네.

-1

이건 채팅용이 아님

그냥 5.6 테라(Terra) 버전이네.

그럼 그냥 6 테라라고 이름 붙였어야 하는 거 아님? 6 테라가 5.6 솔(Sol) 정도 성능을 냈으면 더 인상적이었을 텐데.

이 새로운 모델들은 그냥 연산량 줄여서 다음 대형 모델들 돌릴 여력 확보하려는 용도인 듯.

ㅇㅇ 100% 맞음. 브랜치 기능 있어서 진짜 다행이다. 우리 모듈 하나 거의 날려먹을 뻔한 대형 사고 쳤거든. 경험 없는 사람들이 이런 모델들 어떻게 다루는지 상상도 안 감.

Pelican 테스트 결과랑 비슷하네.

그래프를 보면 추론 레벨을 한두 단계만 올려도 더 저렴한 비용으로 비슷한 성능을 낼 수 있을 듯. 안 되면 Astra를 쓰면 되고. 가장 흥미로운 건 6-Luna max가 얼마나 효율적이고 저렴해 보이는지네. 실제 환경에서 어떻게 작동할지는 좀 더 지켜봐야겠지만.

난 Luna 6 high를 메인 워커 에이전트로 쓰고 있는데 지금까지는 아주 압도적임. 토큰도 조금씩만 쓰고, Sol 6 medium을 리뷰어랑 티켓 할당자로 붙여서 쓰고 있어. 예전에는 5시간 동안 서브 에이전트를 돌리면 1시간 정도 사용량이 찼는데, 지금은 최소 3시간은 거뜬함!

진짜 어이없네. DeepSWE 가성비 끝판왕은 GPT-6 Luna max임. 작업당 0.2달러도 안 되는 비용으로 66.6% 점수 찍는데, GPT-6 Sol max는 2달러 정도에 68.8%거든. 비용은 92%나 싼데 점수 차이는 고작 2.2점밖에 안 남. Astra low 버전은 포함하지도 않았고. 게다가 이 벤치마크에서 Astra를 low 말고 다른 걸로 쓰는 건 좀... 불편해 보임.

원문r/OpenAI