r/opencode•약 5시간 전•50•12
Claude Haiku 5.5가 Grok, Qwen, Deepseek, 그리고 모든 중국 플래그십 모델보다 똑똑하다고?
Claude Haiku 5.5 is apparently smarter than Grok, Qwen, Deepseek, and all the chinese flagships?
핵심 요약
Artificial Analysis의 새로운 벤치마크 결과에 대해 사용자들이 신뢰성에 의문을 제기하며 실제 성능과는 차이가 크다고 비판하고 있습니다.
- 벤치마크 신뢰성 — Artificial Analysis의 평가 방식이 편향되었거나 특정 모델을 밀어주기 위한 결과라는 의혹이 제기됨
- 실제 성능 체감 — 사용자들이 직접 테스트한 결과 Haiku 5.5는 Deepseek 등 중국 모델보다 성능이 떨어지는 것으로 나타남
- 평가 지표의 한계 — 일반적인 벤치마크 점수가 코딩 성능을 온전히 대변하지 못하며, 측정 항목에 따라 결과가 크게 달라짐
- 비용 및 컨텍스트 — Haiku 5.5의 100K 컨텍스트 제한과 그 이후의 급격한 가격 상승이 실사용에 큰 단점으로 지적됨
(Kimi K3.1 Pro 제외)
앤스로픽이 그 벤치마크 점수 받으려고 아티피셜 애널리시스(Artificial Analysis)에 돈 얼마나 찔러준 거냐?
AA 인텔리전스 인덱스 V5는 왜 Haiku 5.5 같은 모델들의 지능 지수를 완전히 뒤집어 놓은 거냐?
개인적으로 Haiku 결과는 도저히 납득이 안 간다. 벤치마크 점수만 잘 나오게 꼼수 부렸거나, 아니면 앤스로픽 쪽에서 돈 좀 쓴 게 분명함.
며칠 동안 Haiku 5.5를 저렴한 서브 에이전트랑 단독 헤르메스 에이전트로 써봤는데, 딥시크(Deepseek), GLM, 심지어 미니맥스(Minimax) 플래그십 모델들보다 훨씬 구리더라. 게다가 가장 큰 단점은 100K 컨텍스트 제한임. Haiku 5.5는 100K까진 엄청 싼데, 그거 넘어가면 가격이 5배나 뜀. 그거 고려하면 1M 컨텍스트 전체 가격은 더 똑똑한 중국산 플래그십 모델들이 훨씬 저렴함. Haiku는 그냥 짧은 컨텍스트에서 빠르게 굴리는 저렴한 단발성 서브 에이전트로만 쓸만함.
너네는 Haiku 써보고 어땠냐? 이번 AA 인덱스 V5 진짜 정확한 거 맞냐, 아니면 오히려 더 퇴보한 거냐?
