AI를 쓰면 쓸수록 '그래, 네 말이 맞아'라는 반응을 불신하게 된다

계정의 전역 설정에 "나한테 아첨하지 마"라고 적어두는 게 좋은 방법이야.

무슨 뜻인지에 따라 다르지. 사후 학습(post training)을 통해 상당히 줄일 수는 있지만, 항상 약간의 기미는 남아 있을 거야.

그냥 AI가 반박하게 만드는 출력 후크를 만들면 돼. 난 계획 짤 때 그렇게 하고 나서 코덱스를 써.

반론: Opus 5의 경우, 고칠 수는 있지만 결과적으로 모델이 고집불통 멍청이처럼 행동하게 돼. 결국 사람들은 아첨하는 걸 더 선호하거든. 그리고 그건 합리적이야. AI 에이전트가 지가 상상한 멍청한 소리로 너랑 말싸움하는 게, 네 나쁜 아이디어를 응원해주는 것보다 더 부정적인 경험이거든.

문제의 일부는 모델이 새로운 아이디어에 대한 근거(ground truth)를 가지고 있지 않다는 점이라고 생각해. 학습 데이터로부터 좋은 아이디어와 나쁜 아이디어가 어떤 건지 배웠지만, 네 특정 상황에서의 새로운 아이디어는 비교할 선례가 없거든. 그래서 안전한 기본값인 "이건 그럴듯하네, 되게 만들어보자"로 돌아가는 거야. 게다가 학습 과정에서 유용성에 보상을 주거든. "이렇게 만들면 돼"가 "하지 마"보다 더 많은 보상을 받는 답변이야. 문제를 열어둔 채 "이게 될지 모르겠어"라고 말하는 건 가장 보상을 못 받는 답변이라, 모델은 자신감 있고 긍정적인 답변으로 그 공백을 채우는 거지. 나한테 효과적인 방법은 너랑 똑같아: 구현 전에 실패 모드를 먼저 물어보는 거야. 난 또 회의적인 리뷰어로서 아이디어에 반대하라고 하고, 실제 데이터 없이는 판단할 수 없는 부분을 명확히 말해달라고 해. 그게 모델이 문제를 얼버무리지 않고 열어두게 만드는 방법이지.

이건 프롬프트 문제야. SOTA 모델들(Opus 5.5, Fable 5.1, GPT 6.1 Sol, 6 Astra)은 네가 비판을 요청하고 적절하게 다루기만 하면 네가 틀렸다고 말하는 데 전혀 문제가 없어. 네가 방어적이거나 자축하는 태도를 보이면 AI도 동조하는 거지.

이거 본문에서 지적한 문제 아니냐? 비판해달라고 요청 안 하면 기본적으로는 안 해줄 수도 있다는 거잖아.

난 내 AI한테 인터스텔라의 TARS를 복사하라고 했어. 무슨 일이 있어도 90% 정직함, 10% 유머를 유지하라고. 지금까지는 결과나 피드백에 대해 훨씬 더 정확하고 진실해. 내가 사용자라는 이유만으로 하는 헛소리나 "네 말이 맞아" 같은 말은 이제 없어. 내가 했거나 해야 했던 일에 대해 꽤 공정한 수정을 해줬고, 무례하진 않지만 직설적으로 내 감정을 봐주지 않더라고.