Looks like Anthropic quietly updated the Sonnet 5 'Agentic search' benchmark graph overnight
Anthropic이 벤치마크 그래프를 예고 없이 수정하자, 사용자들은 신뢰성 문제를 제기하며 비판하고 있습니다.
사용자들은 Anthropic의 벤치마크 그래프 수정에 대해 기업의 신뢰성을 의심하며, 성능 조작이나 비용 절감을 위한 모델 너프 가능성을 강하게 비판하고 있음.
이런 짓거리 때문에 내가 저런 차트들을 '그냥 내 말 믿어' 수준이라고 하는 거임.
모든 AI 기업들의 차트는 그냥 '내 말 믿어봐' 식 차트임. 난 그중 단 하나도 안 믿음.
맞음. 그게 '실수'였든 아니든, 결국 이해관계가 너무 복잡하게 얽혀 있어서 어떤 벤치마크도 신뢰할 수가 없음. 이건 Anthropic만의 문제가 아님. 게다가 난 LLM 벤치마크 대다수에 사용되는 방법론 자체를 개인적으로 신뢰하지 않음.
실수를 해서 눈금이 틀렸거나 모델 값을 잘못 섞었다면 이해라도 하겠음. 근데 이건 그냥 완전히 다른 차트잖아.
이제 Sonnet 5 시스템 카드에서 논의하고 사용한 방법론(10M 토큰 예산을 사용한...)과 일치하도록 차트를 업데이트했습니다.
2026년 6월 30일 수정: 비용 절감하려고 모델 성능 너프한 걸 깜빡하고 내부용 데이터를 실수로 그래프에 넣었네
다시 말해, '우리 최신 모델이 강해 보이게 하려고 방법론을 수정했다'는 뜻이지.
AI 업계에서 누가 결과물 확인 안 했다는 소리를 하네, 말도 안 되는 소리 좀 하지 마라.
그럼 전부 다 가격이 오른 건 설명이 안 되는데.
노력 등급 시스템을 바꾼 거임. 원래 Sonnet 5는 xhigh까지 갔다가 max로 바뀜.
근데 Sonnet high가 어떻게 Opus med보다 좋아지고, Sonnet xhigh가 Opus high보다 좋아짐? 축도 바뀌었고 Opus max는 비용이 2배 올랐는데 성능은 각각 10~15%밖에 안 올랐음. 그냥 누락된 노력 등급을 추가한 것뿐이라 볼 건 딱히 없음...
가격이 거의 두 배가 됐어, 스케일 숫자 좀 보라고!
그건 좋은 거지. 난 애초에 왜 그래프에는 4단계인데 실제로는 5단계인지 이해가 안 갔거든. 근데 여전히 다른 이름을 쓰는 건 좀 이상하긴 함. 앱 내 노력 등급은 low, medium, high, extra, max라고 부르거든.
어떤 이유에서인지 앱이랑 Claude Code에서 사용하는 용어가 약간 다름.
이런 질문 했다고 왜 비추를 받는 거지…
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.