Opus 4.6 / 4.7 어제부터 성능 대폭 하락

LLM은 본질적으로 비결정적이라서 매일 결과가 동전 던지기처럼 널뛰는 거야. 똑같은 Claude Code 버전으로 똑같은 모델을 써서 똑같은 시간에 테스트를 두 번 돌려도 결과는 다르게 나오거든. 하루에 테스트를 50번 돌린다고 치자. 매일 동전을 50번씩 던지면, 당연히 기대치보다 뒷면이 더 많이 나오는 날이 꽤 자주 생기지 않겠어?

그건 각 테스트가 50 대 50 확률일 때나 맞는 말이지. 통과율이 65%인 이유는 대부분의 문제가 확실하게 풀리거나 확실하게 안 풀리기 때문이야. 경계선에 있는 문제는 몇 개 안 되니까 실제 변동성은 동전 던지기 확률 계산보다 훨씬 작아. 차트만 봐도 일일 수치들이 6.75%포인트보다 훨씬 좁게 모여 있는 걸 알 수 있잖아.

토큰 하나하나가 확률적인 이벤트야. 문제마다 해결 가능성의 임계치가 다 다르다고. 어떤 문제는 해결 확률이 80%일 수도 있고, 어떤 문제는 토큰 체인이나 편차가 발생하는 시점에 따라 30%일 수도 있어. 그리고 이건 모든 테스트가 똑같은 컨텍스트에서 순서대로, 아무런 편차 없이 실행된다는 가정하에 하는 말이지. 기술적으로는 API 타임스탬프 하나 때문에 결과가 바뀔 가능성도 있어. '확실하게 풀린다'고 말하는 건 너무 단순하게 생각하는 거야. 그게 바로 대부분의 벤치마크가...

방금 내 말을 증명해줬네. 문제마다 난이도가 다르면(예를 들어 어떤 건 80%, 어떤 건 30%인 경우) 전부 65%에 수렴하는 게 아니라서 변동성이 동전 던지기 계산보다 작아지는 게 맞거든. https://en.wikipedia.org/wiki/Binomial_sum_variance_inequality

각기 다른 변동성을 가진 50개의 질문이라면 정의상 이항분포가 아니야. 네가 올린 링크나 제대로 읽어봐. 하루 단위로 보면 그건 포아송 이항분포라고. 매달 똑같은 50개의 질문을 던지는 건 이항 관계를 50개의 이질적인 질문이 아니라, 50개 질문의 집합을 비교 단위로 바꾸는 거야. 그래서 마진이 13%에서 4%로 변하는 게 보이는 거지. 그러니까 일관된 변수(50개 질문의 집합)를 확립하기 전까지는...

말 되네. 지난주 화요일쯤부터 성능이 엄청나게 떨어지는 걸 느끼기 시작했음.

세상에. 사람들이 불평하는 건 들었고, 성능이 '적당히' 떨어진 건 봤지만, 오늘은 Claude가 Max reasoning을 켜도 완전히 뇌가 뽑힌 느낌이야. 원래 이런 걸로 불평 잘 안 하는데, 오늘은 너무 방해가 돼서 처음으로 /feedback까지 날리면서 내 짜증을 표현했어.