Sonnet 5.5는 참 애매한 위치의 모델인 듯

저사양은 고작 0.14달러 차이인데 Opus가 점수는 6점 더 높음. 중간 사양은 Opus 저사양보다 점수도 낮고 더 비싸서 쓸 이유가 전혀 없음.

어려운 작업에서는 더 비쌀 수 있다는 건 이해가 가는데, 쉬운 작업에서는 아마 Opus보다 저렴할걸.

내 필기 인식 벤치마크로 Sonnet 5.5 테스트했을 때도 비슷한 결과가 나옴.

이런 중간급 모델들은 좀 애매함. 애초에 단독 에이전트 코더로 쓰려고 만든 게 아니고, 벤치마크 방식도 실제 사용 환경을 제대로 반영하지 못하거든. Terra도 같은 문제를 겪고 있지.

만약 Luna나 Gemini Flash 같은 모델이 할 수 있는 것보다 어렵지만, 작업당 1턴 안에 끝낼 수 있는 작업을 수행하는 에이전트가 필요하다면, 이런 모델들이 더 빠르고 저렴할 수 있음. 적절한 모델을 선택해주는 정교한 코딩 환경을 갖췄다면 중간급 모델이 쓰일 때도 있고.

Haiku는 거의 의미가 없으니 Anthropic 생태계에만 있다면 '빠르고 저렴한' 모델로는 Sonnet 5.5가 유일한 선택지임. 물론 AI가 생성한 로딩 메시지나 보여주려는 게 아니라면 말이지. 실제 이런 경험을 구축하는 대부분의 기업은 Foundry/Bedrock/Vertex를 통해 더 많은 모델을 쓰겠지만, 뭐 다 그런 건 아니니까.

이전 직장에서 앱 평가 세트를 운영했는데, 비용, 속도, 결과 등을 고려했을 때 몇몇 사례에선 Sonnet이 최고였음.

근데 코딩할 때는? Opus 5.5가 그냥 씹어먹지(BRRRR). 당분간 다른 모델들은 잊어버려.

가성비를 생각한다면 어떤 모델이든 High 이상으로 설정하지 않는 게 답인 듯

그럼 Sonnet은 저사양에서만 좋은 건가..? 그럴 바엔 그냥 Haiku 쓰는 게 낫겠는데

비용은 어떻게 측정했음?
비용은 작업에 따라 다르지. Sonnet은 더 좁은 범위의 작업에 적합할 거야.
하지만 구독료에 아주 쪼들리는 상황이 아니라면, 굳이 Sonnet을 특정 작업에 쓰려고 애쓸 필요는 없다는 데 동의함.

Artificial Analysis의 점수와 지능 작업 비용 표를 기준으로 했음. 그쪽 점수를 그대로 가져다 쓴 거야.

이런 비교가 중요하지. 하위 모델들은 자기 능력 범위 내의 한정된 작업이나, 특정 상황에서 보조 에이전트로 쓸 때만 비용 효율적임.