Sonnet 5.5 is not worth using it unless at Low/Med effort
Sonnet 5.5와 Opus 5.5의 성능 및 비용 효율성을 두고 사용자들 간의 분석과 의견이 엇갈리고 있습니다.
Sonnet 5.5는 저/중 부하에서나 가성비 모델이지. 난 여전히 대부분 작업엔 Opus 5.5 high 쓸 거임.
Sonnet 5.5의 효율성을 두고 사용자들 간에 그래프 해석 차이와 실제 워크플로우 적용 경험을 바탕으로 활발한 논쟁이 벌어지고 있습니다.
내 사용 사례에서는 별로였음. Sonnet 5.5 High와 Opus 5.5 High를 Low/Med 난이도 작업에 각각 투입해 봤는데, Sonnet이 훨씬 빠르고 저렴하긴 했지만 버그를 남기거나 환각을 일으키고, Opus가 잡아낸 것들을 놓치는 경우가 있었음.
Sonnet 5.5가 작업을 수행하고 Opus 5.5가 검토 후 수정 사항을 보내는 방식도 시도해 봤는데, 두 작업 모두 그냥 Opus 5.5가 처음부터 끝까지 다 하는 것보다 시간도 더 걸리고 비용도 더 많이 나왔음.
마지막으로 Sonnet 5.5가 작업을 하고 Opus 5.5 리뷰어가 문제를 고치는 방식도 해봤는데, 이것 역시 Opus 5.5만 쓰는 것보다 느리고 비쌌음. 다만 Opus 5.5 단독으로는 못 잡은 버그를 하나 잡아내긴 해서, 아주 틈새 용도로는 쓸 수 있을지도 모르겠음.
보통은 Opus 5.5가 작업을 상세히 설계하고 실제 구현은 서브 에이전트로서 Sonnet에게 맡기는 게 정석임. 지금 테스트는 사실상 거꾸로 하고 있는 거임.
두 경우 다 Opus 5.5가 작업을 상세히 설계하고 디자인했음. 내가 설명한 모든 사례에서 모델들은 서브 에이전트로 작동 중이었음. 내 워크플로우는 메인에 Opus 5.5 에이전트 하나를 두고, 워크트리에서 작업하는 10개의 Opus 5.5 서브 에이전트를 조율하는 방식임. 난 Sonnet이 이 워크플로우를 조금이라도 개선할 수 있는지 테스트해 본 거였음.
Opus가 작업하게 하고 Sonnet은 문제 찾기랑 코드 리뷰만 전담시켜 봐. 그다음 Opus가 그 내용을 확인하고 수정이 필요한지 결정하게 하는 거지.
동감함. 내 프로젝트에 Sonnet 써봤는데 바로 후회하고 Opus로 돌아갔음. 솔직히 제대로 된 걸 만들고 있고 최소 5x 플랜 쓰고 있다면, Opus가 워낙 저렴해서 굳이 Sonnet 쓸 이유가 없다고 봄. 난 Astra도 쓰는데, 내 경험상 Sonnet이 Astra보다 낫다는 벤치마크는 좀 의심스러움.
Boris Cherny가 1년 전쯤에 그냥 모든 작업에 최상위 모델을 쓰는 게 일반적으로 가장 효율적이라고 말했었지.
아직도 이걸 모르는 사람이 많다니 진짜 안타깝네. 난 무조건 opus랑 fable만 씀.
Sonnet 5.5 대신 Flash 3.8을 쓰는 게 답임.
차트를 제대로 못 읽고 있는 것 같은데. Max를 제외한 모든 effort 레벨에서 더 저렴함.
소프트웨어 개발용 데일리 드라이버로 Opus 5.5 Medium이나 High를 고수해야 한다는 점에는 동의함.
비추를 받고 있지만, 네 말이 맞음. X축이 비용이라 왼쪽으로 갈수록 더 저렴한 거임.
대부분의 사람들은 그래프가 아니라 (잘못된) 제목만 읽고 있음.
이건 Sonnet 5.5 출시 블로그 포스트에도 설명되어 있는데, 아마 다들 안 읽어본 모양임.
일단 써보기나 해봐.
모든 작업에 opus 5.5 high를 기본으로 씀. 요구사항이 명확하거나 빠른 피드백이 필요할 땐 sonnet 5.5 med 사용.
중요한 건 명목상 노력 수준에 따른 비용이 아니라, 특정 품질 결과물에 대한 비용이야. Sonnet high가 Opus low보다 아주 조금 나은 수준인데 비용은 30% 더 비싸거든. Opus는 max를 제외한 모든 구간에서 Sonnet보다 왼쪽에 있어. 즉, 비슷한 품질의 결과물을 낼 때 Opus가 비용이 조금 더 적게 든다는 뜻이지. 마찬가지로, Opus 라인은 max effort를 제외한 모든 수준에서 Sonnet보다 위에 있어. 이건 대부분의 Opus 사용 사례에서 Opus가 달러당 더 나은 결과물을 보여준다는 의미야.
고마워. 사람들이 그래프를 오해하고 있고, Opus 5.5 대비 Sonnet 5.5의 사용 사례를 잘못 이해하고 있는 것뿐임.
형, 그래프 읽을 줄 모르는구나.
Claude가 20년 된 ECU의 CPU 에뮬레이터를 직접 구현해내는 모습에 작성자가 경악을 금치 못함.
Claude가 20년 된 ECU의 CPU 에뮬레이터를 직접 구현해내는 모습에 작성자가 경악을 금치 못함.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
3090 NVLink 브릿지의 높은 가격과 복제품 부재에 대한 의문 및 대안 논의.
3090 NVLink 브릿지의 높은 가격과 복제품 부재에 대한 의문 및 대안 논의.