또 멍청해지고 있나?
Is it getting dumb again?
핵심 요약
Claude의 성능 저하를 체감한 사용자가 다른 사용자들의 경험을 묻는 글.
- 성능 저하 체감 — 최근 Claude의 코드 생성 및 검색 능력이 이전보다 떨어졌다고 느낌.
- 일관성 문제 — 모델이 수시로 변경되면서 작업의 일관성이 깨지고 결과물이 patchy해짐.
- 벤치마크 논쟁 — 성능 저하가 심리적 현상인지, 실제 데이터로 증명 가능한 문제인지에 대한 의견 대립.
- 사용자 불만 — 모델 성능 저하로 인해 작업 효율이 떨어지고 추가적인 수정 작업이 필요해짐.
저는 VS Code 확장 프로그램을 통해 Claude Code(Opus 4.7 1M)를 광범위하게 사용해 왔는데, 3월/4월경에 결과물이 '멍청해졌던' 시기와 Codex 발표 시점 즈음에 다시 똑똑해졌던 시기를 체감했습니다. 그때는 Anthropic이 모델 성능 저하 문제를 완화하기 위해 조치를 취하고 있다고 확인해 준 시기와도 겹칩니다. 결과물에서 하늘과 땅 차이가 났었죠.
이틀 전부터 Claude가 다시 예전처럼 멍청해진 느낌을 받고 있고, 특히 오늘은 더 심합니다. 이 문제가 다시 나타나고 있는 건지 궁금하네요.
저는 제 작업을 Codex와 교차 검증하고 있으며, 어떤 에이전트가 더 자주, 어떤 방식으로 수정하는지 추적하는 시스템을 가지고 있습니다. 문제가 발생하기 전에는 Claude가 Codex를 더 자주 수정하곤 했는데, 지금은 다시 반대가 되었습니다. 과학적인 방법은 아니라는 걸 알지만, 무언가 성능이 저하되고 있다는 걸 알려주는 벤치마크들이 더 있습니다.
무언가가 계속 '변경'되면서 작업의 일관성을 망치고 있다는 느낌 때문에 미칠 지경입니다.
혹시 다른 분들도 결과물 성능 저하를 겪고 계신가요? 겪고 계시다면 어떤 식으로 나타나나요?
제 경우, 결과물이 점점 짧아지고 범위도 좁아지고 있습니다. 검색도 예전만큼 넓거나 깊지 않고요. 모델이 단계를 건너뛰고 후속 조치 없이 처음 찾은 것을 선택하는 것 같습니다. 코드 결과물도 이상해졌고, 지시 사항을 건너뛰며 다시 정보를 줘도 전반적으로 맥락을 놓치고 있습니다. 더 적절한 단어가 생각나지 않는데, 한마디로 '패치워크(patchy)' 같은 느낌입니다.
