Artificial Analysis의 가격 비교가 여전히 정확한가요?

아니, 그건 작업 내용과 모델 특성에 따라 많이 달라지기 때문이야. DeepSeek 같은 일부 모델은 GPT 모델에 비해 '생각'을 엄청나게 많이 하지만, 토큰당 가격은 더 저렴해. 그래서 DeepSeek조차 생각할 필요가 없을 정도로 단순한 작업은 거기서 매우 저렴하게 처리되지. 반면 생각이 필요한 작업은 GPT 모델들이 상대적으로 더 저렴해지는 경향이 있어.

기본적으로 다음 사항들을 살펴봐야 해:

• API 가격 비교
• 모델이 생각하는 수준에 따른 장황함 정도
• 모델의 지능 수준(단순 작업에 생각이 덜 필요한지) -> 즉, 낮은 생각 모드에서 사용 가능한지

API 가격을 지불하고 있다면, 100k 컨텍스트 미만일 때 Haiku가 저렴하고 탄탄해. GPT 구독을 이미 하고 있다면 Luna는 사실상 무료나 다름없지. 네 Sol 사용량을 구독료로 나누면 고작 5~6센트 정도일 거야.

Codex 구독료로 따지면 약 6센트 정도라는 말은 맞지만, API 비용으로 보면 GPT는 터무니없이 비싸. 둘째로, 이건 Artificial Analysis의 비용 비교가 완전히 부정확하다는 걸 보여줘.

그럼 Luna Max는 Deepseek Flash Max와 비교해서 지능이 어느 정도야?

Deepseek에게 두 세션을 비교해달라고 했어:

주요 발견 사항

1. Codex가 전체 토큰을 약 30% 적게 사용했음에도 비용은 약 2.9배 더 많이 나왔어. 모델 가격 차이가 결정적이야. gpt-6.1-sol($2 / $0.10 / $10 per M)이 deepseek-v4-pro보다 훨씬 비싸.

2. 정반대의 효율성 프로필: OpenCode는 캐시(입력의 97%가 캐시됨)와 집중적인 추론(19K 토큰)에 의존했어. 반면 Codex는 호출당 신선한 입력을 거의 2배 더 소모했지만, 출력 및 추론 토큰은 훨씬 적게 생성했어(6.4K vs 30.6K).

3. 제외 사항: Codex 내부의 'Guardian review' 하위 스레드(166K 토큰, 모델 codex-auto-review)는 세션 총합에서 제외됐어. Sol 요금으로 계산해도 약 $0.09 정도만 추가될 뿐이야.

결론: Codex가 약 2배 더 빠르게 완료했지만 비용은 약 3배 더 비쌌어. deepseek-v4-pro 세션이 gpt-6.1-sol 세션보다 절반 이하의 비용이 들었는데, 이는 토큰 효율성이 아니라 모델 가격 정책 때문이야.

벤치마크 작업은 컨텍스트가 별로 없고 문제를 해결하는 데 상대적으로 어려워. 그러니까 네 작업과는 정반대인 셈이지. 네 작업은 꽤 쉬워 보이지만 외부 컨텍스트나 에이전트 단계가 많이 필요했던 것 같아. 이게 바로 Astra가 AA의 제안보다 실제로는 Opus보다 더 비싼 이유와 같아. 가변 토큰(생각, 출력)에 비해 '고정 토큰 비용'이 많을수록, 더 저렴한 모델이 절대적인 비용 우위를 점하게 돼.

도대체 어떻게 그게 5시간 제한의 7%나 잡아먹은 거야? 네 요점을 흐리려는 건 아니지만, Plus 계정이라면 훨씬 적게 들어야 정상 아니야? 한 1~2% 정도? 전체 설정을 다 알 순 없지만 뭔가 잘못된 것 같아.

2% 미만을 예상하긴 했는데, Codex를 몇 달 동안 안 써서 최근 제한 변경 사항에 대해 잘 모르겠어.