r/codex•약 6시간 전•123•22논쟁

Terra 6.1은 사실상 출시되자마자 죽은 모델이나 다름없음; Luna가 훨씬 저렴하면서도 더 빠른 경우가 많음

Terra 6.1 is practically dead on arrival; Luna often beats it at a fraction of the cost in many cases, while being faster

핵심 요약

Terra 6.1의 가성비와 성능을 두고 벤치마크 기반의 비판과 실제 작업에서의 유용성을 주장하는 사용자들 간의 논쟁이 이어지고 있습니다.

벤치마크 비판 — 일부 사용자는 벤치마크가 편향되어 있으며 실제 작업 효율을 제대로 반영하지 못한다고 지적함
모델 용도 논란 — Terra 6.1이 공간 추론이나 컴퓨터 제어 작업에는 유용하다는 반론이 제기됨
가성비 논쟁 — Luna나 Sol 대비 비용 효율성이 떨어진다는 의견과 특정 작업에 적합하다는 의견이 대립함
커뮤니티 분위기 — 모델에 대한 과도한 비난과 맹목적인 옹호가 섞여 있어 의견이 극명하게 갈림

요즘 연구소 놈들이 자기네 새 모델 띄워주려고 벤치마크 결과 입맛대로 골라 쓰는 거 꼴 보기 싫더라(X축 뒤집기, Y축 0부터 시작 안 하기, 자기들한테 유리한 쪽으로 선형/로그 스케일 골라 쓰기 같은 꼼수들 말이야). 그래서 반대로 6.1 Terra를 최대한 구려 보이게끔 최악의 결과들만 골라내는 재밌는 짓을 좀 해봤다. 다행히 이 모델 가성비가 워낙 개판이라 작업하기 아주 쉬웠음.

(이건 6.1 Terra에 대한 정확한 평가가 아님. 예를 들어 Terminal Bench 4.0에서는 Luna를 그냥 압살하거든)

FrontierCode 1.1 - 참고로 이 벤치마크는 4일 전에 Artificial Analysis 벤치마크에서 DeepSWE 1.1을 대체함.

Luna 6 max가 Terra 6.1 max를 이기는데, 가격은 91% 더 싸고 토큰도 덜 씀. 작업당 소요 시간도 Luna가 42% 더 짧음.

Humanity's last exam: 6.1 Terra medium 40%, 6 Luna max 39%

AutomationBench-AA: 6.1 Terra max 60%, 6 Luna max 53%

AA-Briefcase 1.1: 6.1 Terra max 1402, 6 Luna max 1336

GDPval-AA v2.1: 6.1 Terra max 1476, 6 Luna max 1445

Long context reasoning, AA-LCR v1.1: Luna 6 max가 6.1 Terra max랑 동급임.

SciCode Bench는 현재 오류 가능성 때문에 결과가 완전히 나온 건 아니지만, 그래도 Luna가 0.5% 차이로 지는 수준임. 근데 출력 토큰은 절반밖에 안 쓰고 가격은 95%나 더 쌈.

요약하자면, 어떤 워크플로우에서는 6 Luna를 썼을 때랑 결과는 똑같거나 더 구린데, 돈은 훨씬 더 많이 내고 토큰도 훨씬 많이 쓰는 꼴이 될 수 있다는 거임. 6.1 Sol까지 고려하면 Terra는 가성비 면에서 진짜 낙제점 수준이지. 딱 봐도 TBench 4.0에서 답 나오잖아:

6.1 Sol (xhigh) - 54% - $1.03 - 57K tokens
6.1 Terra (max) - 55.6% - $1.49 - 101K tokens

코딩할 때 Terra가 tok/s 속도가 2배 빠르다 쳐도, 성능은 똑같고 작업 시간도 같은데 왜 굳이 돈을 50%나 더 내야 함?

원문

커뮤니티 목록

r/codex•약 6시간 전•123•22논쟁

Terra 6.1은 사실상 출시되자마자 죽은 모델이나 다름없음; Luna가 훨씬 저렴하면서도 더 빠른 경우가 많음

Terra 6.1 is practically dead on arrival; Luna often beats it at a fraction of the cost in many cases, while being faster

핵심 요약

Terra 6.1의 가성비와 성능을 두고 벤치마크 기반의 비판과 실제 작업에서의 유용성을 주장하는 사용자들 간의 논쟁이 이어지고 있습니다.

벤치마크 비판 — 일부 사용자는 벤치마크가 편향되어 있으며 실제 작업 효율을 제대로 반영하지 못한다고 지적함
모델 용도 논란 — Terra 6.1이 공간 추론이나 컴퓨터 제어 작업에는 유용하다는 반론이 제기됨
가성비 논쟁 — Luna나 Sol 대비 비용 효율성이 떨어진다는 의견과 특정 작업에 적합하다는 의견이 대립함
커뮤니티 분위기 — 모델에 대한 과도한 비난과 맹목적인 옹호가 섞여 있어 의견이 극명하게 갈림

(이건 6.1 Terra에 대한 정확한 평가가 아님. 예를 들어 Terminal Bench 4.0에서는 Luna를 그냥 압살하거든)

FrontierCode 1.1 - 참고로 이 벤치마크는 4일 전에 Artificial Analysis 벤치마크에서 DeepSWE 1.1을 대체함.

Luna 6 max가 Terra 6.1 max를 이기는데, 가격은 91% 더 싸고 토큰도 덜 씀. 작업당 소요 시간도 Luna가 42% 더 짧음.

Humanity's last exam: 6.1 Terra medium 40%, 6 Luna max 39%

AutomationBench-AA: 6.1 Terra max 60%, 6 Luna max 53%

AA-Briefcase 1.1: 6.1 Terra max 1402, 6 Luna max 1336

GDPval-AA v2.1: 6.1 Terra max 1476, 6 Luna max 1445

Long context reasoning, AA-LCR v1.1: Luna 6 max가 6.1 Terra max랑 동급임.

6.1 Sol (xhigh) - 54% - $1.03 - 57K tokens
6.1 Terra (max) - 55.6% - $1.49 - 101K tokens

코딩할 때 Terra가 tok/s 속도가 2배 빠르다 쳐도, 성능은 똑같고 작업 시간도 같은데 왜 굳이 돈을 50%나 더 내야 함?

주요 댓글

r/codex

Terra 6.1의 성능과 가성비를 두고 사용자들 사이에서 벤치마크 신뢰도 문제와 실제 활용 사례를 중심으로 의견이 팽팽하게 갈리고 있습니다.

솔직히 말해서 Terra 6.1은 Terra 세대의 훌륭한 업그레이드처럼 보이네. Terra가 항상 잘해왔던 점을 생각해보면 말이야. 그건 바로 Sol이나 Luna에 비해 어떤 추론 수준에서도 더 나쁘고 비논리적인 선택지라는 거지. Terra 6.1에 온 걸 환영해.

내가 Sol 6.1을 주로 쓴 건 컴퓨터 사용 때문이었어. 구직 지원을 위해 계정에 로그인하거나, 관료적인 업무 처리, 앱스토어 목록 업데이트 같은 것들 말이야. Terra를 써본 경험으로는 더 저렴하면서도 그런 일들을 똑같이 잘 수행해. 왜 다들 이렇게 싫어하는 거야?

Sol 6.1은 충분히 저렴해. Terra 6.1은 그냥 어울리지 않는 느낌이야. 그래서 난 몇 달 전에 Claude로 넘어갔어. Codex는 그냥 광대 쇼야.

충분히 저렴한 것보다 더 저렴한 게 좋은 거 아냐? Terra를 훈련해서 ROI를 낼 수 있을지는 OpenAI가 판단할 문제지.

그래도 난 모델 제품군이 4개보다는 3개인 게 좋아. 심리적으로 결정 내리기가 훨씬 쉽거든.

왜냐하면 이 사람들은 모델을 써보지도 않고, 쓸모없는 벤치마크를 가져와서 몇 가지 시나리오만 골라낸 뒤, 불평하면서 카르마나 벌려고 쓰레기 같은 글을 쓰기 때문이지.
모델이 본인한테 잘 작동하면 그냥 쓸데없는 소음은 다 걸러내. 이미 답은 나와 있잖아.

난 좀 다른 경험을 하고 있어. 6.1 Terra가 확실히 할당량을 더 천천히 쓰긴 하는데, 컴퓨터 사용 기능이 계속 '멈춰버려'. 20분 동안 아무것도 안 하다가, 뭘 하고 있냐고 물어보면 '그렇게 오래 기다리지 말았어야 했는데'라고 답해. 정작 뭘 기다리고 있었던 것 같지도 않은데 말이야.

이상해. 대부분의 작업에서는 6.1 Sol만큼 유능해 보이는데, 갑자기 궤도를 벗어나 버려.

정확해. Terra는 백오피스 모델이야. 컴퓨터 사용, 단순 사무 워크플로우 같은 거 말이지.

사람들은 그냥 혐오하는 걸 좋아해. Astra를 욕하더니, 그다음엔 Sol, 이제는 Terra를 욕하네 ㅋㅋ

Terra 6.1은 Sol 6.1만큼 공간 추론 능력이 좋으면서 생성 속도는 훨씬 빨라. Luna는 공간 추론 능력이 안 좋거든. 그래서 3D 모델링이나 3D 게임 제작처럼 공간 추론이 필요한 작업에는 Terra 6.1이 확실한 승자야. 그러니까 틈새시장이 있는 거지. 사실 난 하루 종일 게임 만드는 데 썼는데 아주 만족했어. 왜 이렇게 욕하는지 전혀 이해가 안 가. 가끔은 모델이 자기 용도에 안 맞을 수도 있는 건데, 다른 누군가에게는 완벽할 수도 있는 거잖아.

또 한 가지, Sol 6.1 가격의 절반이라서 시간 제약은 있는데 Luna로는 만족 못 한다면 Terra 6.1이 당연한 선택이지. 벤치마크 점수는 몇 점 낮아도 가격은 50% 저렴하고 속도는 더 빠르니까. 이 훌륭한 모델을 잘 활용하는 사람이 나뿐일 리가 없잖아?

참고로 오리지널 5.6 Terra는... 그건 쓸모없었지.

지능 수준과 작업당 비용을 고려하면, Terra 6.1이 거의 모든 면에서 압도적이야:

그나마 비슷한 게 Muse Spark 1.3인데, 작업당 비용이 4배나 더 비싸.