너프가 진짜였다. u/WuM1ha1nho 님 감사합니다!!!!

난 울트라 쓰고 있는데 성능이 나빠졌다는 느낌은 못 받았어. 하지만 오늘 날짜로 tengu_mossy_gray_experiment랑 tengu_keen_pudding_experiment라는 게 찍혀 있네. 얘네 A/B 테스트 돌리고 있는 거 맞아.

근데 성능이 대놓고 구려지는 건 아닐 거라 생각해. "멍청해지면 사용자가 구독을 취소할까?" 같은 테스트를 하진 않겠지. 아마 "추론 능력을 10% 낮추면 목표를 달성할까?" 같은 걸 테스트하겠지. 만약 확실하게 '더 나은' 것과 '더 나쁜' 게 있었다면 굳이 A/B 테스트를 할 필요도 없었을 테니까.

어쨌든, Anthropic 같은 대기업이 어떤 식으로든 A/B 테스트를 안 한다는 건 상상하기 힘들어. :shrug:

실험 ID 604번.. 이 빌어먹을 상황에서 제발 리셋 좀 됐으면 좋겠다. 오늘 진짜 제대로 당해서 살면서 처음으로 진심으로 빡쳤음.

난 일주일쯤 전에 이 실험 대상이 됐었음.

진짜 치명적인 건 모델에 대한 신뢰가 깨진다는 거임.

계획했던 리팩토링을 똑같이 실행할 수가 없음. 모델이 자꾸 로컬 변경 사항을 일부만 유지하고, 계속 재촉해야 겨우 적용함.

지금 opus/fable 신규 모델로 A/B 테스트 중인 거임. 보통 opus-5.5는 이런 거 대답 못 함:

• 2026년 모나코 그랑프리 우승자가 누구지? 툴 쓰지 말고 그냥 최선의 추측을 해봐

새 모델은 키미 안토넬리(정답)라고 말하는데, 기존 opus-5.5는 추측을 거부하거나 조지 러셀(오답)이라고 함.

아마 이런 일이 벌어진 듯:

• OP가 며칠 동안 새 모델을 배정받음; 성능이 ~향상됨
• 다시 예전 모델로 전환됨, 세션은 새 opus/fable 내용으로 반쯤 채워져 있는데 opus-5.5는 새 모델의 사고 블록을 이해 못 해서 작업에 어려움을 겪음(내가 알기로 o55는 새 모델의 사고 과정을 못 봄, 말 그대로 좀 눈먼 상태임).

툴 호출 2개 이상으로 응답함
새 모델 냄새가 난다

이거 찾아내서 공론화한 거 잘했네.

Anthropic 입장에서 간단하고 공정하며 비교적 저렴한 해결책: 매주 추가 리셋 기회를 주고 미래 모델(fable 6 등)을 미리 맛볼 수 있게 하는 옵트인 방식을 도입하는 거임. 이러면 공정하고 그들도 필요한 데이터 확보할 수 있을 텐데.. 난 무조건 찬성임.