r/Anthropic•5개월 전•0•11
이 수준 낮아진 추론 능력을 해결할 방법이 있을까요?
What's the way out for this watered down reasoning ?
핵심 요약
Claude의 추론 능력 저하와 컨텍스트 무시 문제에 대해 사용자들이 프롬프트 구조화와 자동화된 검증 시스템의 중요성을 조언함.
- 추론 능력 저하 — Claude가 제공된 컨텍스트와 지침을 무시하고 핵심 로직을 마음대로 재작성하는 문제가 발생함.
- 감정적 대응 지양 — AI에게 사과를 요구하거나 감정적으로 호소하는 것은 사용량만 낭비할 뿐 해결책이 되지 않음.
- 프롬프트 전략 — 복잡한 작업은 한 번에 처리하지 말고 단계를 나누어 실행하고 목표를 복창하게 하는 방식이 권장됨.
- 검증 시스템 구축 — 모델의 실수를 잡기 위해 유닛 테스트, 데이터 흐름 검토, E2E 테스트 등 자동화된 검증이 필요함.
API를 high/max reasoning으로 쓰는 게 유일한 방법인가요? 해봤는데 효과는 확실히 있더라고요... 근데 토큰이 문제라.
주로 4.6 extended를 쓰고 있고, 4.7은 별로 경험이 안 좋았네요..
수정: 이건 데이터베이스에 py 스크립트가 첨부된 프로젝트고, 지침이랑 몇 년 전 제 작업물이 담긴 MD 파일들도 있어요. 이전 스크립트들을 새로운 형식으로 맞추는 걸 도와달라고 했는데, 첨부된 논문이나 학위 논문 등을 인용했는데도 아무런 참조나 "상식" 없이 핵심 로직을 그냥 통째로 새로 써버리더라고요.
첨부한 메시지는 제가 찾을 수 있는 가장 내용이 잘 요약된 스크린샷일 뿐이에요. AI가 미안하다고 말하게 만드는 건 아무 의미 없고, 그냥 이런 일이 다시는 안 일어나게 하려면 어떻게 해야 하는지 알고 싶을 뿐입니다. 답변하기 전에 뭘 더 첨부해서 읽으라고 해야 할지도 솔직히 모르겠네요.
제 프롬프트가 별로일 수도 있다는 건 인정하지만, 이건 API를 썼을 때나 한 달 전 같은 채팅에서 똑같은 프롬프트, 프로젝트 정보, 컨텍스트, 첨부 파일, 지침을 줬을 때랑은 완전히 다른 추론 결과예요.
