GLM 5.2 Max better than Opus 4.8 at almost sixth of output price
GLM 5.2 Max가 Opus 4.8보다 저렴하고 성능이 좋다는 주장에 대해, 사용자들이 벤치마크의 신뢰성과 편향성을 지적하며 논쟁 중입니다.
모델 평가 방식과 벤치마크의 정의를 두고 사용자들 간에 의견이 갈리고 있음.
이거 무슨 벤치마크임? 혹시 이 모델이 이 벤치마크만을 위해 특별히 훈련된 거 아님?
수정: 이 게시물은 매우 오해의 소지가 있음, 이건 순전히 웹 개발 벤치마크임.
llmarena임.
무작위 사용자 요청이랑 순위 기반임.
ㅋㅋ
이건 벤치마크가 아니라 아레나임. 모델들이 특정 작업에서 1대1로 경쟁하는 거.
이런 식의 순위는 '벤치맥스(benchmaxx)'할 수 없음.
그래도 여전히 웹 개발에 특화된 거고, 작성자가 입맛대로 골라온(cherrypicked) 지표 중 하나일 뿐임.
게다가 걔네는 일관성보다는 '원샷' 능력에 더 집중하는 경향이 있음.
모델들은 특정 작업에서 정면 대결을 펼침.
이런 식의 순위는 벤치마크로 따질 수 없음.
......형, 벤치마크가 정확히 그거야. SWE-bench가 '특정 작업 완료 비율'을 측정하는 건데.
야, 그냥 사이트 들어가서 1초만 봐봐.
프롬프트를 쓰면 익명 모델 2개한테 보내지고, 그중 더 나은 결과물을 낸 걸 고르는 방식이잖아.
그건 벤치마크랑은 다른 거야.
artificial analysis 벤치마크 찾아봐.
왜 이런 것들은 현실에선 절대 제대로 안 나타나는 거 같냐
스크린샷을 보면 해당 벤치마크가 웹 개발에만 특화된 건지 안 나와 있잖아.
결론: 네가 '캐주얼 사용자'가 아니거나 소프트웨어 엔지니어링 배경이 없는 vibecoder라면...
잠깐, 뭐라고?
ㅋㅋ 왜 그랬냐
미국 SOTA 모델을 오케스트레이터로 쓰고 중국 모델을 실행기로 쓰는 아이디어 마음에 드네. 이러면 사용자 지시가 좀 부족해도 보완이 될 듯.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
