r/codex•약 2개월 전•47•24논쟁

구현 전용 5.6 Luna vs Terra medium vs Sol medium 테스트

Testing 5.6 Luna vs Terra medium vs Sol medium for implementation only

핵심 요약

Luna XHigh 모델이 상세한 구현 계획 하에서 비용 대비 가장 우수한 성능을 보여줌.

테스트 환경 — 오케스트레이터 워크플로우를 통해 모델별 구현 성능을 비교함.
모델 성능 — Luna XHigh가 Luna Max와 동일한 품질을 유지하면서 비용은 더 저렴함.
계획의 중요성 — 상세한 구현 계획이 모델의 결함 없는 결과 도출에 핵심적임.
비용 효율성 — Luna Medium은 저렴하지만 신뢰도가 낮고 Sol Medium은 비용이 매우 높음.

내 테스트 결과를 공유해. 업무용으로 오케스트레이터 워크플로우(예: 스크립트가 codex exec를 실행)를 사용하는데, 계획(.md 파일로 저장), 구현, 코드 리뷰, 검증 등이 각각 별도의 세션을 가짐(서브 에이전트가 아님). 이렇게 하면 Cursor나 Codex 같은 하네스 간에 전환할 수 있고, 각 단계나 기능에 따라 모델과 추론 수준도 바꿀 수 있어.

작업은 두 개의 레포지토리에 걸친 기능이었고, 그 사이에는 내부 API 계약이 있는 Java 및 TypeScript 서비스였어. 각 모델은 동일한 3,378단어의 구현 계획을 받았는데, 여기에는 수락 기준, 종속성, 코드 앵커, 검증 작업이 포함된 11개의 스토리가 포함되어 있었어.

참고: 모델들은 계획을 구현하기만 했고, 직접 만들지는 않았어. 내 오케스트레이션 작업은 항상 에픽(PR을 나타냄)과 검증 가능한 스토리로 세분화돼.

각 구성에 대해 세 번의 시도를 수행했어:

| Model | Defect-free trials | Checks | Expected behaviors | Avg Cost |
| --- | --- | --- | --- | --- |
| Luna Medium | 0/3 | 12/15 | 14/15 | $0.1412 |
| Luna High | 1/3 | 13/15 | 13/15 | $0.4685 |
| Luna XHigh | 3/3 | 15/15 | 15/15 | $0.5917 |
| Luna Max | 3/3 | 15/15 | 15/15 | $0.8199 |
| Terra Medium | 0/3 | 12/15 | 12/15 | $1.0594 |
| Sol Medium | 0/3 | 12/15 | 12/15 | $11.0130 |

내가 본 것:

Luna XHigh는 이 작업에서 가격 대비 최고의 결과를 일관되게 전달했고, 모든 품질 측정에서 Luna Max와 대등했어. 반면 Luna Max는 비용이 더 많이 들고 시도당 약 40% 더 오래 걸렸어.
Luna Medium은 훨씬 저렴했지만 신뢰성이 충분하지 않았어. Luna High는 더 근접했지만, 두 번의 시도에서 여전히 라우팅 계약을 잘못 구현했어.
상세한 계획이 정말 중요해. 훨씬 짧고 덜 상세한 계획으로 했던 초기 테스트에서는 어떤 Luna 구성도 세 번의 결함 없는 시도를 만들어내지 못했어. 상세한 계획을 사용하니 Luna XHigh와 Max 모두 3/3을 달성했어.

원문

커뮤니티 목록

r/codex•약 2개월 전•47•24논쟁

구현 전용 5.6 Luna vs Terra medium vs Sol medium 테스트

Testing 5.6 Luna vs Terra medium vs Sol medium for implementation only

핵심 요약

Luna XHigh 모델이 상세한 구현 계획 하에서 비용 대비 가장 우수한 성능을 보여줌.

테스트 환경 — 오케스트레이터 워크플로우를 통해 모델별 구현 성능을 비교함.
모델 성능 — Luna XHigh가 Luna Max와 동일한 품질을 유지하면서 비용은 더 저렴함.
계획의 중요성 — 상세한 구현 계획이 모델의 결함 없는 결과 도출에 핵심적임.
비용 효율성 — Luna Medium은 저렴하지만 신뢰도가 낮고 Sol Medium은 비용이 매우 높음.

참고: 모델들은 계획을 구현하기만 했고, 직접 만들지는 않았어. 내 오케스트레이션 작업은 항상 에픽(PR을 나타냄)과 검증 가능한 스토리로 세분화돼.

각 구성에 대해 세 번의 시도를 수행했어:

| Model | Defect-free trials | Checks | Expected behaviors | Avg Cost |
| --- | --- | --- | --- | --- |
| Luna Medium | 0/3 | 12/15 | 14/15 | $0.1412 |
| Luna High | 1/3 | 13/15 | 13/15 | $0.4685 |
| Luna XHigh | 3/3 | 15/15 | 15/15 | $0.5917 |
| Luna Max | 3/3 | 15/15 | 15/15 | $0.8199 |
| Terra Medium | 0/3 | 12/15 | 12/15 | $1.0594 |
| Sol Medium | 0/3 | 12/15 | 12/15 | $11.0130 |

내가 본 것:

Luna XHigh는 이 작업에서 가격 대비 최고의 결과를 일관되게 전달했고, 모든 품질 측정에서 Luna Max와 대등했어. 반면 Luna Max는 비용이 더 많이 들고 시도당 약 40% 더 오래 걸렸어.
Luna Medium은 훨씬 저렴했지만 신뢰성이 충분하지 않았어. Luna High는 더 근접했지만, 두 번의 시도에서 여전히 라우팅 계약을 잘못 구현했어.
상세한 계획이 정말 중요해. 훨씬 짧고 덜 상세한 계획으로 했던 초기 테스트에서는 어떤 Luna 구성도 세 번의 결함 없는 시도를 만들어내지 못했어. 상세한 계획을 사용하니 Luna XHigh와 Max 모두 3/3을 달성했어.

주요 댓글

r/codex

Luna XHigh 모델의 효율성에 대한 긍정적인 평가가 주를 이루며, Max 모델의 과도한 추론 문제와 Sol Medium의 비용 대비 성능에 대한 사용자 간의 의견 대립이 있음.

솔직히 Sol Medium이 세 번 시도하고도 제대로 된 결과를 못 낸다는 게 믿기 힘드네. 프롬프트가 나쁘거나, 코드베이스가 엉망이거나, 아니면 그냥 skill issue겠지. 첫 번째 시도는 결함이 있을 수 있다 쳐도, 세 번 연속 실패라고? 말도 안 돼.

난 Luna Max로 엄청난 결과를 얻고 있는데, 내 사용 사례에서는 Sol Medium이 훨씬 더 정밀하고 효과적이야. 비교가 안 될 정도지.

유일한 "작은 단점"은 비용이 10배 더 비싸다는 거야.

Sol Medium은 긴 작업에서는 일찍 포기해버리긴 하더라. 목표를 설정하면 해결할 수 있을 것 같긴 한데.

내 생각은 이래: 이 워크플로우는 매우 상세하고 구체적인 구현 계획을 사용해. 그래서 과도하게 생각하거나 과도하게 엔지니어링하지 않고 단순히 지시를 따르는 모델에 적합하지. 난 GLM, composer, 심지어 grok 같은 더 저렴한 구현 모델로 교체할 수 있게 오케스트레이터를 만들었어. 이건 전부 비대화형으로 수행되도록 의도된 거야.

Sol과 Terra는 결함에 있어 일관성을 보여주는데, 그 자체로 좋은 점이지. 일관성 있는 모델을 갖는 건 비록 그게...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

맞음, 구현 세부 사항이 많아지면 Sol은 검증 루프에 갇히는 경향이 있고 과하게 엔지니어링(overengineer)하는 경향이 있음. 직접적인 요청을 무시하기도 하고. 사람들이 계속 비추천 누르는데, 제대로 측정하고 테스트도 안 해보는 듯.

-1

할 수는 있는데 이런 워크플로우는 안 되는 거임. 모델이 무능한 게 아니라 지시사항을 잘 못 따르는 것뿐임. 그래서 내가 벤치마크를 돌리는 거고, 모델에 맞춰서 시스템을 조정하려고 하는 거다.

그리고 다음부턴 글 좀 읽어라. Sol medium 단독은 거기 있지도 않았어...

벤치마크는 가격 할인 이후의 오케스트레이션과 영향력을 검증하는 거였다.

난 그냥 모든 걸 Sol Light로 처리 중임. 추론 레벨 높이면 개발 속도가 너무 느려지는 느낌이라. 하이 레벨 추론 모드에서 20분씩 기다리느니, 차라리 약간 결함 있는 구현을 빠르게 반복 수정하는 게 나음.

기본적으로:

아키텍처는 Sol Very High
반복 작업은 Sol Light
서브 에이전트는 Tera Light. Luna가 제대로 작동만 한다면 아마 썼을 듯.

지금까지 200e 플랜으로 계속 리셋하면서 작업 중인데 나름 잘 돌아감.

테스트 결과는 XHigh가 Max보다 낫다는 걸 암시하는데, 실제 사용이나 비공식 테스트에서 Max와 XHigh를 비교했을 때 느낌은 어때?

XHigh가 확실히 Max보다 나아. 내가 테스트한 대부분의 작업에서 Max는 퇴보를 보였어. 잘못된 해결책을 과하게 생각하더라고.

나도 벤치마크 좀 돌려보고 있는데, 비용, 시간, 성능, 오케스트레이션까지 고려해서 여러 모델을 섞어 쓰는 게 딱히 더 싸지도 않고 성능이 더 좋은 것도 아님. 보통은 그냥 Sol Medium 하나로 다 해결하는 게 빠르고, 상대적으로 저렴하고, 안정적임. 테스트 케이스는 Blazor Wasm UI + .NET 10 백엔드 + 블루투스 프로토콜 구현이 포함된 풀 기능 수직 슬라이스였음.