제대로 된 비판을 해줄 수 있는 AI 에이전트를 찾고 있습니다

엄격한 프롬프팅이 생각보다 효과가 큼. '아이디어가 결함이 있다고 가정하고 허점을 찾아봐'라고 지시하면 큰 차이가 남. 하지만 환각이 진짜 문제임. 존재하지도 않는 경쟁사를 기반으로 비판해서 결국 비판 내용 자체를 팩트체크해야 하는 상황이 오면 본질이 흐려짐.

이건 대부분 시스템 프롬프트 문제임. 기본 튜닝이 동의를 보상하도록 되어 있어서 프롬프트만으로는 완전히 해결 안 됨. 홍보 같지만 내 armory 저장소에 pre-mortem이랑 inversion을 써서 강제로 반박하게 만드는 devils-advocate 스킬을 넣어뒀음. 그냥 '비판적으로 해줘'라고 하는 것보다 나음. 반박하는 재미를 원하면 서로 반대되는 시스템 프롬프트를 가진 인스턴스 두 개를 돌려서 싸우게 해봐. 혼자서 반대하는 척하는 예스맨보다 훨씬 유용함.

문제는 학습 신호임. 모든 주류 AI는 사용자를 만족시키도록 최적화되어 있어서, 동의하는 게 곧 승리하는 구조임. 사용자 행복이 곧 지표이기 때문에 어떤 제품에서도 '비판 모드'를 찾을 수 없을 거임.

나한테 문자해 형, 나 진짜 인도 사람이야.

도움이 됐던 방법들: 1-지침에 '내 헛소리 좀 지적해줘' 포함하기. 2-프롬프트를 길게 쓰고 '장단점 리스트를 줘'나 '왜 이게 실패할지 말해줘', '이건 나쁜 아이디어니까 증명하는 걸 도와줘' 같은 구체적인 지시 추가. 3-결과물을 다른 AI에 넣고 'Claude가 여기서 놓친 게 뭐야? 분명히 틀렸을 거야'라고 물어보기.