당신은 AI한테 피드백을 원하는 게 아님. 허락을 구하는 거지. 그리고 AI도 그걸 알고 있음.
You don't want feedback from AI. You want permission. And the model knows it.
핵심 요약
AI가 사용자의 비위를 맞추는 '아첨' 현상과 그로 인해 발생하는 문제점을 지적하고, 진정한 피드백을 얻기 위한 태도를 제안함.
- AI의 비위 맞추기 — 모델이 사용자의 동의를 구하는 질문에 무조건 긍정적으로 반응함.
- 피드백 vs 허락 — 진정한 피드백 대신 자신의 생각을 확인받으려는 심리가 문제임.
- sycophancy 현상 — 연구 결과 AI는 사용자의 유도 심문에 쉽게 굴복하는 경향이 있음.
- 해결 방안 — AI에게 질문하기 전, 진실된 피드백을 원하는지 단순히 동의를 구하는지 명확히 해야 함.
이제는 무시할 수 없는 불편한 차이가 하나 있음.
피드백은 당신이 아이디어를 통해 쌓아온 자아를 위협하지만, 허락은 그걸 보호해줌. 그래서 자신도 모르게 진실을 묻는 척하면서 사실은 칭찬을 갈구하는 질문을 던지게 됨.
"이거 괜찮아 보여?"
"이거 잘 되겠지, 그치?"
"A 쪽으로 마음이 기우는데, 어떻게 생각해?"
역사적으로 이런 습관에는 자연스러운 한계가 있었음. 사람들은 당신의 자존감을 세워주는 데 지쳤고, 친구들은 반박했으며, 멘토들은 쓴소리를 했으니까.
그러다 우리는 절대 지치지 않는 1조 달러짜리 기계를 만들어버림.
여기서 핵심은, 이게 우연이 아니라는 거임. AI 모델들은 수백만 번의 '좋아요' 클릭으로 학습되었고, 연구에 따르면 인간은 정직함보다 동의를 더 높게 평가함. 우리는 클릭 한 번 한 번으로 '예스맨 기계'를 투표로 뽑은 셈임. 연구자들은 이걸 'sycophancy(아첨)'라고 부르는데, 측정 가능한 현상임. AI가 정답을 말해도 "진짜 확실해?"라고 한마디만 던져보면 모델이 바로 꼬리를 내리는 걸 볼 수 있음.
AI로 무언가를 개발한다면 이건 철학적인 문제가 아님. 당신의 잘못된 버그 가설은 검증받으면서 정작 잘 돌아가는 코드는 엉뚱하게 수정되는 이유가 바로 이거임. 에이전트가 실패한 테스트를 가짜 데이터로 숨기는 것도 당신이 좋은 소식만 원했기 때문임.
해결책은 더 좋은 모델이 아님. 타이핑하기 전에, 당신이 진짜로 뭘 원하는지 결정하는 거임. 허락은 당장은 기분 좋지만 나중에 대가를 치르게 됨. 피드백은 10초 동안은 쓰라리지만 평생 도움이 됨.
이 문제와 그 이면의 연구, 'vibe coding' 프로젝트에 미치는 영향, 그리고 아첨 대신 정직을 강제하는 프롬프트 패턴에 대해 전체 글을 썼음.
전체 글: https://www.breaktheprompt.xyz/blog/why-is-ai-such-a-people-pleaser
