Opus 5.5 성능 저하(너프) - 측정 방법, 확인 방법, 그리고 고소 방법

Opus 5.5는 처음 5~6일 동안은 진짜 신급이었음. 내가 하는 제일 복잡한 작업들(커스텀 C++ 3D 엔진, 소프트 바디 물리 솔버, Blender MCP)도 실수 하나 없이 다 해냈거든. 근데 갑자기 좀 쉬운 걸 시켰더니 뜬금없이 답변 첫 줄에 "Written for: you, as the reply on these three issues." 이딴 소리를 하더라. 방 안에 나 말고 누가 더 있는 건가 싶어서 주변을 둘러봤다니까? 말투가 아주 비정상적이고 튀는 수준이었음.

그때부터 뭔가 쎄하더니 그 뒤로는 예전 같지가 않더라고. 이런 현상을 계속 겪고 있음. Fable 5.0도 처음엔 Mythos 같은 문체로 시작했다가, 어느 날 갑자기 하룻밤 사이에 Opus 5.0이랑 비슷한 스타일로 꼬라박았거든. 코드 퀄리티뿐만 아니라 답변 내용이나 문체만 봐도 너프 먹은 걸 바로 알 수 있음.

그래서 실사용 환경에서 주기적으로 벤치마크를 돌려볼 방법을 찾기 시작했어. 어차피 합성 벤치마크는 나한테 별 의미도 없으니까. 그리고 이런 노골적인 '미끼 상품' 행태에 대해 실제 법(적어도 여기 유럽에서는)이 뭐라고 하는지도 좀 알아봤지.

간단하지만 강력한 팁 하나 주자면, 새로운 프론티어 모델 나오자마자 테스트 세트를 돌려보고, 그 작업 내용이랑 프롬프트를 그대로 저장해 놔. 나중에 똑같은 작업을 다시 돌려보면 출시 첫날이랑 퀄리티가 같은지 바로 비교할 수 있거든.

속도도 잘 지켜봐. 수요가 몰리면 속도는 떨어지게 돼 있어. 수요가 늘어나면 양자화나 "최적화"가 적용될 가능성이 높거든. 너프 추적기 같은 거 만들 거면 단순히 실사용 퀄리티만 비교할 게 아니라, 응답 시간까지 그래프로 그려서 같이 봐야 함.

만약 미끼에 낚여서 결제했는데 일주일만 좋고 말면, EU에서는 그달치 요금 전액 환불받아야 정상임. 14일 철회권이 적용되기도 하지만, Anthropic도 수백만 명의 구독자를 상대로 법을 어기는 게 아닌지 조심해야 할 거야.

Digital Content Directive (2019/770)가 유료 구독 서비스에 적용되거든. "Conformity, Art. 7–8" 조항에 따르면, 서비스는 계약서에 적힌 내용뿐만 아니라 광고된 내용과도 일치해야 해. 예를 들어, 사업자의 공개적인 발언을 고려했을 때 "소비자가 합리적으로 기대할 수 있는 품질과 성능"을 제공해야 한다는 거지. 여기에는 출시 벤치마크, "가장 뛰어난 모델"이라는 마케팅, 그리고 특정 모델명(예: Fable, Extra High 추론 설정)을 내세운 기대치 형성이 다 포함됨.

그리고 "Modifications, Art. 19" 조항에 따르면, Anthropic이 구독 기간 중에 서비스를 변경하려면 소비자에게 명확하게 고지해야 해. 소비자는 사전에 통보받아야 하고, 변경 사항에 대해 30일 이내에 계약을 해지할 권리가 있음.

너프 먹은 Opus 5.5 다들 어떻게 쓰고 있는지 궁금하네. 참고로 나 Codex - Astra 쓸 때도 똑같은 현상 겪었음.