근본적인 오류가... 어디에나? 계속해서?
Fundamental errors... everywhere? Contantly?
핵심 요약
최근 Claude의 추론 능력과 지시 이행 수준이 급격히 떨어져 실망스럽다는 사용자 경험담입니다.
- 추론 오류 — Claude가 기본적인 논리나 계획 단계를 무시하고 엉뚱한 제안을 반복함
- 지시 불이행 — 사용자가 시켜야 할 일을 오히려 사용자에게 떠넘기거나 간단한 규칙을 따르지 않음
- 모델 성능 저하 — 과거에 비해 복잡한 작업은 물론 단순한 업무 처리 능력도 현저히 떨어짐
- 사용자 불만 — 비용을 지불하는 유료 사용자들 사이에서 서비스 품질에 대한 강한 비판이 제기됨
야, 그거 아냐... 제목 수정이 안 되네. 뭐 어쩌겠어.
어쨌든
한 1년 쉬다가 다시 구독했는데, 지난 몇 주 동안은 그냥 자잘한 거나 좀 하느라 별문제 없었거든.
근데 구독하고 나서 보니까, 뭐 엄청 복잡한 모델을 쓰는 것도 아닌데 클로드가 추론 과정에서 진짜 어처구니없는 실수를 계속 저지르는 거야.
예를 하나 들자면, 내가 개인적으로 파이썬 프로그래밍 프로젝트를 좀 작게 하고 있는데, 이걸 다시 갈아엎으려고 하거든. 예전에 시작했다가 이제 다시 손대는 중인데, 난 프로그래머도 아니야. 그래서 컨텍스트 파일 설정해두고 계속 넘겨주면서 작업하고 있지.
근데 클로드가 자꾸 이 프로젝트의 시작은 '기획'이라는 걸 까먹어. 자꾸 리팩토링을 하겠다느니, "새로운" 코드 예시를 주겠다느니, 앞선 필수 단계들이 기획되기도 전에 뭘 자꾸 시작하려고 해... 그래서 내가 지적하면 "완전 맞는 말씀입니다. 예/아니오로만 대답해달라고 하셨는데 엉뚱한 문단 6개나 늘어놓지 말았어야 했는데 죄송합니다." 이러고 앉았음.
진짜 초등학생 4학년한테 설명하는 기분이라니까.
다른 프로젝트에서는 페이지 번호 매기는 시스템 수식이 작동할 거라는 걸 내가 직접 설득까지 해야 했어. 심지어 엄청 간단한 거였는데도. 계속 안 된다고 하길래, 내가 몇 번이나 "아니, 된다니까? 그냥 그렇게 해."라고 말해야 했지. 심지어 나보고 그 수식을 설명해보라더라.
그리고 클로드는 자꾸 내가 시킨 일을 나보고 하라고 해.
"좋은 계획이네요! 당신이 해야 할 단계는 다음과 같습니다..."
어, 그래, 아니거든*. 내가 너한테 하라고 시킨 거잖아. 그건 네가 해야 할 단계라고.*
기본적인 추론에서도 계속 멍청한 실수를 해. 예를 들면, 어떤 사람이 두 달 전 날짜에 뭘 시작해야 한다고 제안하는 식이지. 뭐, 어딘가는 항상 6월이긴 하겠다만...
하, 진짜 골 때리네.

