arena.ai에 따르면 Opus 4.8이 Gemini 3 Pro보다 성능이 떨어진다고 함

arena.ai를 의심하게 만드네.

저 랭킹들 중 몇 개는 진짜 말도 안 돼 보이는데. Gemini 3.5 Flash가 수학 1위라고?

직접 써보면 벤치마크가 얼마나 쓸모없는지, 그리고 하네스(harness)가 얼마나 중요한지 알게 될 거야.

그래 그럼 그거 써라, 우리한테 말하지 말고.

난 Opus 4.8이 이전 모델보다 토큰 효율성이 훨씬 좋으면서도 결과물은 훌륭해서 만족하며 쓰고 있어. 지난 2주 동안 Gemini는 거의 완전히 안 썼는데, 결과물도 나빠졌을 뿐만 아니라 지시 사항을 따르는 능력도 훨씬 떨어졌거든.