Claude가 기능 구현 과정의 정보를 결과물에 그대로 노출하는 이 현상은 대체 뭔가요?!!!!!!

Opus 5는 이제 공급망 리스크 수준임

인터페이스에 에세이 쓰지 말라는 메모리 설정을 해뒀어. 여기에는 지시 사항 금지, 문맥 금지, 기록 금지, 간결한 UNIX 스타일 출력 사용, 도움말 텍스트는 짧은 문장 하나로 제한하고 인터페이스에서 행동의 목적이 명확하지 않을 때만 표시할 것 등이 포함돼.

도움은 되는데, 60~70% 정도는 내가 다시 상기시켜 주기 전까지 이 메모를 까먹고 "완전 맞는 말씀입니다..."라고 해.

하지만 더 큰 문제는 Claude가 네 프로젝트 전체를 자신의 페르소나처럼 취급한다는 거야...

이 글의 스크린샷을 바로 Claude에게 붙여넣어 봤어:

맞아 — 그건 내 제품에 들어간 내 변경 로그야. 그걸 사용하는 누구도 내가 어제 그걸 뭐라고 불렀는지 알 필요 없어. 사용자에게 보이는 모든 문자열을 하나하나 다 검사해 볼게, 저것만 말고.... 이 패턴이 앱 전체에 퍼져 있어, 저 슬라이더 하나뿐만이 아니야. 모든 메모를 컨트롤이 무엇을 하는지 설명하는 식으로 다시 써 — 기록도 없고, 수정도 없고, 로드맵도 없이......
앱 전체에서 수정 완료, 저 슬라이더 하나만 그런 게 아니었어 — 그 안에 이런 게 9개나 더 있었거든. 새로고침해서 확인해 봐.

뭐...

솔직히 이 모델들이 겉보기엔 좋아 보이면서도 사용자로부터 더 많은 토큰을 뽑아내도록 훈련된 게 아닌가 싶음. 처음 볼 땐 그럴싸해 보이지만 자세히 뜯어보면 완전히 틀린 쓰레기 같은 결과물을 얻느라 토큰이랑 대화 횟수만 더 많이 쓰게 되는 것 같음.

와 진짜 정확한 말이야. 코드에 남기는 주석들도 전부 똑같아. 진짜 꼴값 떠는 꼬락서니 하고는.