Anthropic이 '작업을 재확인하라'는 지시가 이제는 안티 패턴이라고 함. 내 설정 파일에만 그런 줄이 125개나 있는데 뭐가 중요한 건지 모르겠음.
Anthropic says "double-check your work" is now an anti-pattern. I counted 125 of those lines in my own config and cannot tell which ones matter.
핵심 요약
Anthropic의 최신 가이드에 따라 AI 모델의 불필요한 재확인 지시를 제거하고 프롬프트를 최적화하는 방법에 대한 논의.
- 안티 패턴 지적 — 모델이 스스로 잘 수행하는 작업에 재확인 지시를 넣으면 오히려 성능이 저하됨.
- 프롬프트 최적화 — '최대한 철저하게' 같은 모호한 지시가 불필요한 토큰 낭비와 오류를 유발함.
- 검토 방식 변화 — 모델 스스로 재확인하게 하기보다 별도의 에이전트를 활용하는 방식이 선호됨.
- 설정 감사 필요성 — 기존의 강제 규칙과 단순한 독려 문구를 구분하여 정리하는 작업이 중요함.
Anthropic에서 자기네 플랫폼 비용 절감이랑 성능 개선에 관한 글을 올렸는데, 거기서 딱 내 뒤통수를 치는 내용이 있더라. 우리가 모델한테 더 열심히 하라고 넣는 지시사항들이 오히려 독이 되고 있다는 거임.
우리 다들 그러잖아. "작업 결과물 다시 확인해라", "최대한 꼼꼼하게 해라" 같은 거. 예전 모델들은 이런 거 안 적어주면 대충대충 넘어가니까 어쩔 수 없었지.
근데 요즘 모델들은 이미 알아서 잘해. 그러니까 이런 지시사항을 넣으면 일을 두 번 하게 만드는 꼴인 거야. 돈은 더 나가고 답변 퀄리티는 오히려 떨어짐.
글에 나온 예시들이 아주 구체적이야. "최대한 꼼꼼하게 해라"라고 하니까 모델이 굳이 안 해도 될 지식 베이스 검색을 수십 번씩 돌리고 앉아있고, "다시 확인해라"라고 하니까 이미 끝낸 작업을 또 반복하고 있는 거지. 제일 골 때리는 건 모순된 규칙들이었어. 한쪽에서는 허용하는 정책인데 다른 쪽에서는 금지하게 만들어놔서, 정작 나가야 할 환불 처리 4건이 아예 안 나가버린 거야.
이유는 간단해. 예전 모델들은 시키는 것만 딱 하니까 하나하나 다 떠먹여 줘야 했거든. 근데 요즘 모델들은 알아서 처리하는 능력이 좋아졌어. 거기다 대고 "이 순서대로 해라"라고 지시를 얹어버리면, 모델이 원래 하려던 똑똑한 짓은 안 하고 네가 시킨 순서만 따르느라 멍청해지는 거야. 도와주려고 넣은 문구가 오히려 방해물이 된 거지.
그렇다고 모든 지시사항을 다 빼라는 소리는 아님. 모델이 얼마나 열심히 일할지 조절하는 별도의 설정이 있잖아. 너무 낮으면 근거도 없이 대답하고, 너무 높으면 쉬운 문제도 질질 끌면서 고민하거든. 글에서 지우라고 한 건 '재촉하는 말'이지 '확실한 제약 조건'이 아님.
그래서 글 읽고 나서 내 규칙 파일들을 싹 세어봤거든. "must"가 예순여섯 번, "never"가 쉰네 번. 다 합치니까 백스물다섯 번이나 되더라.
물론 이게 다 문제는 아님. "게시 버튼 두 번 누르지 마라" 같은 건 확실한 제약이니까 그대로 둬야지. 근데 내가 지금까지 어떤 게 그냥 재촉하는 말이고 어떤 게 진짜 필요한 제약인지 구분해 본 적이 없거든. 아마 재촉하는 말들이 태반일 것 같아.
https://claude.com/blog/reducing-cost-and-improving-performance-with-claude-platform
Claude로 긴 설정 파일 돌리는 형들, 혹시 이런 거 점검해 본 적 있어? 만약 해봤다면, 어떤 문장이 진짜 일을 하고 있고 어떤 게 헛짓거리인지 어떻게 구분했어?
