r/codex•약 3시간 전•17•18
12개 최신 모델을 대상으로 한 복잡한 저수준 아키텍처 설계 및 구현 제안 과제에서 6.1 Terra (max)와 6.1 Sol (XHigh)이 우수한 성적을 거두다.
6.1 Terra (max) followed by 6.1 Sol (XHigh) shine in a complex low level architecture design and implementation proposal task between 12 frontier models with each report evaluated against 8 different jduge models.
핵심 요약
12개 모델의 아키텍처 설계 능력을 8개 모델이 평가한 결과, Terra와 Sol이 상위권을 차지했으나 속도와 결과물의 가치에 대한 논쟁이 발생했습니다.
- 모델 성능 평가 — 12개 모델이 27개 요구사항을 포함한 복잡한 아키텍처 과제를 수행함
- 평가 결과 — 6.1 Terra와 6.1 Sol이 상위권을 기록했으나 단순성 측면에서 약점을 보임
- 속도 논란 — Opus 5.5 대비 현저히 느린 6.1 Sol의 처리 속도가 지적됨
- 평가 방식 비판 — LLM 생성 결과물의 가치와 평가 방식의 유효성을 두고 사용자 간 의견 대립 발생
작업 복잡도
아키텍처 작업에 참여한 12개 모델 전체
