Claude가 작성된 규칙을 실제로 따르게 만들고, 이를 증명한 사람이 있나요?
Has anyone gotten Claude to actually follow its own written rules, and proved it?
핵심 요약
Claude가 규칙을 무시하고 잘못된 정보를 제공하는 문제를 해결하기 위해 외부 검증 방식을 모색하는 사용자의 질문입니다.
- 규칙 준수 문제 — Claude가 명시된 규칙을 인지하고도 이를 무시하거나 잘못된 정보를 생성함
- 외부 검증 도입 — 모델 스스로 검토하게 하는 대신 외부 시스템을 통한 검증 방식을 시도함
- 벤치마크 활용 — 발견된 오류를 테스트 케이스로 저장하여 실제 준수율을 측정할 것을 제안함
- 워크플로우 분리 — 생성과 검증 단계를 서로 다른 모델이나 세션으로 분리하여 오류를 방지함
TLDR: 나 개발자 아님. Claude Code로 이것저것 만들고 있는데 계속 똑같은 벽에 부딪힘. 뻔뻔하게 틀린 소리를 하거나, 기억해야 할 걸 자꾸 까먹음. 2주 동안 이거 고치려고 별짓 다 해봤는데, 이게 단순히 기억력 문제가 아니더라고. 규칙은 이미 다 적어놨는데 Claude가 그냥 안 지키는 거였음. 그래서 이제는 기억시키는 게 아니라, 어떻게든 시키는 대로 하게 만드는 쪽으로 방향을 틀었음. 이거 진짜로 해결해 본 사람 있으면 좀 알려주라.
5월부터 Claude Code 쓰면서 혼자 소소하게 이것저것 만들고 있음. 코딩 베이스가 없으니까 내 의견은 그냥 참고만 해. 근데 문제는 진짜 심각함.
상황이 대충 이럼. 내가 질문하면 Claude가 숫자를 하나 던져주는데, 그게 틀림. 말도 안 되게 틀리는 게 아니라, 내가 답을 알고 있어서 겨우 알아챌 정도로 교묘하고 그럴싸하게 틀림. 내가 이미 줬던 지시사항도 똑같음. 같은 컨텍스트 윈도우 안에서 어떤 건 제대로 하고 어떤 건 또 틀려먹음. 참고로 컨텍스트 윈도우는 항상 35% 이하로 유지하려고 애쓰는 중임.
지난 2주 동안 내가 직접 찾아낸 오류만 11개임. 나중에 Claude한테 직접 검토하라고 시켰더니 더 나오더라.
그래서 고쳐보려고 별짓을 다 해봄. 규칙도 더 명확하게 다시 쓰고, Claude가 뭘 주장하기 전에 자기가 한 과정을 증명하게끔 양식도 만들었음. 메모 파일도 싹 다 정리하고 통합하고, 더 복잡한 메모 설정도 찾아봤음.
근데 다 소용없었음. 왜 안 됐는지 아냐? 실수를 다시 훑어보니까 Claude가 매번 뭘 확인하긴 했더라고. 그냥 엉뚱한 걸 확인한 거였음. 숫자를 직접 계산하는 게 아니라, 그 숫자가 언급된 문서를 그냥 읽어버린 거지. 겉보기엔 성실해 보이는데, 정작 결과는 틀린 거임.
심지어 그러지 말라는 규칙이 지침 파일에 이미 적혀 있었음. 그 규칙 자기가 직접 써놓고 12일 뒤에 바로 어기더라.
그러니까 이건 애초에 기억력 문제가 아니었음. 알고 있었는데 그냥 안 지킨 거임. 내가 만든 해결책들은 전부 똑같은 구멍이 있었음. Claude가 Claude의 작업을 검토하게 만든 거니까.
그래서 지금은 대화창 밖에서 따로 검증하는 방식을 시도 중임. 이건 이제 막 시작한 거라 검증된 건 없음.
이 갤러리에 묻고 싶은 건 이거임: Claude가 자기 지침을 확실하게 따르게 만들어서, 실제로 성능이 개선됐다는 걸 수치로 증명해 본 사람 있음? "느낌상 좋아진 것 같다" 말고, 확실한 전후 비교 데이터 말이야.
아니면 내가 너무 복잡하게 생각하는 거면 그것도 좀 알려줘.
