Sonnet 5.5 Benchmark
Sonnet 5.5의 벤치마크 결과를 두고 비용 효율성과 실제 성능에 대한 사용자들의 회의적인 반응이 이어지고 있습니다.
Fable이랑 Astra보다 높다고?!
사용자들은 Sonnet 5.5의 벤치마크 결과가 실제 비용 대비 성능을 제대로 반영하지 못한다고 비판하며, Opus와의 비교를 통해 비효율성을 지적하고 있습니다.
AA 벤치마크를 보면 Sonnet 5.5가 오히려 안 좋아 보임.
가장 중요한 지표인 비용 면에서 작업당 Opus 5.5보다 비싸고, Sonnet이 Fable보다 똑똑할 리도 없음.
Opus가 작업당 더 저렴한데 굳이 Sonnet을 쓸 이유가 없음.
다들 5.5 모델군에서 작업당 비용 매개변수의 최대 노력치만 보지 마. 중간 및 높은 사고 수준에서 어떻게 비교되는지 봐봐. 거기선 Sonnet이 Opus를 이기는 걸 볼 수 있을 거야. Sonnet에서 최대 추론을 사용하게 된다면, 이 모델군이 아니더라도, 그건 아마 더 큰 모델을 써야 한다는 꽤 좋은 신호일걸.
작업당 비용 그래프를 보면 Sonnet이 Opus보다 비쌈:
Sonnet 5.5 xhigh는 Opus high보다 멍청한데 더 비쌈
Sonnet 5.5 high는 Opus med보다 멍청하지만, 적어도 조금 더 저렴함
Sonnet 5.5 medium은 Opus low보다 멍청한데 더 비쌈
high 설정 말고는 Sonnet을 쓸 이유가 거의 없고, 그마저도 Opus medium과 low 사이 수준임.
한편 Haiku는…
이 벤치마크 이제 좀 어이가 없네. Fable이랑, 더 중요한 건 astra max가 Sonnet한테 진다고? 이게 대체 무슨 소리야. 이 벤치마크 쓰레기네.
이거 진짜 벤치마크 점수 올리기에만 혈안이 된 게 너무 티 나네.
어차피 Sonnet 쓸 데도 없음
진짜 궁금한 건 왜 메타 AI가 상위권에 있냐는 거임?
AI를 활용해 스스로를 대체하는 상황을 유머러스하게 표현한 영상입니다.
AI를 활용해 스스로를 대체하는 상황을 유머러스하게 표현한 영상입니다.
범용 AI 에이전트가 게임 데이터를 직접 해석해 별도의 학습 없이 WoW를 플레이한 사례를 두고 기술적 효율성과 기존 봇과의 차이에 대한 논쟁이 이어짐.
범용 AI 에이전트가 게임 데이터를 직접 해석해 별도의 학습 없이 WoW를 플레이한 사례를 두고 기술적 효율성과 기존 봇과의 차이에 대한 논쟁이 이어짐.
