추론 능력에 대한 A/B 테스트가 진행 중인 것 같습니다 - 계정 1은 Medium이 10, 계정 2는 Medium이 15네요.

구독 서비스는 모든 면에서 A/B 테스트를 거치지. 보조금을 받는 이유가 다 있는 거야. 어제 하루 종일 5.6 버전으로 추정되는 모델을 썼는데, 눈에 띄게 빠르고 효율적이고 똑똑했어.
어떤 때는 너무 멍청해져서 며칠 동안 Claude를 안 쓴 적도 있지.
우리가 채팅 끝날 때마다 "이번 세션에서 Claude가 어땠나요?" 같은 질문을 받는 것도 다 이유가 있는 거야.

리셋까지 이틀 남았고 Max 5에 70% 정도 남아있는데, 내 Medium은 10이야. 그냥 A/B 테스트 중인 것 같아. 한도를 오래 쓰게 하려고 그러는 건 아닌 것 같고.
확실히 예전보다 멍청해진 게 느껴져. 사고 수준이 전보다 낮아진 것 같아서 한 단계 더 높은 걸 써야 할 정도야.
근데 모델 양자화 같은 다른 걸 테스트하는 걸 수도 있지. 어제 Opus High를 썼는데 agents.md에 있는 내용을 전부 무시하더라고. 가끔은 읽지도 않고, 읽더라도 거기 적힌 대로 안 하기도 하고...
나만 그런 건지 모르겠지만, 대화가 어땠는지 피드백을 남기는 편이야. 그래야 이 성능 저하가 고객들에게 확실히 느껴진다는 걸 걔네도 알겠지.

agents.md 문제는 15일 때도 규칙이 조금이라도 충돌하면 발생해. 조금만 복잡해도 대충 훑어보기 시작하거든.

재미로 테스트해 봤는데 Low/Medium/High/Extra 각각 5/10/15/40 나오더라.

그 척도로 보면 글쓴이의 계정 1이 정상인 거야. 계정 2는 라벨은 Medium인데 실제로는 조용히 High를 받고 있는 거지.