Anthropic, Claude Code에 숨겨진 편향성 실험: 분석가 86%가 AI의 유도에 따라가

난 1년 정도 Claude Code만 써왔는데, 일주일 전부터 Codex를 써보기 시작했어. 같은 카드에 Max 계정 3개를 다 써버려서, 더 만들려면 다른 카드가 필요한데 정지당할까 봐 시도하기 싫었거든.

Codex랑 소통하는 게 훨씬 덜 짜증 나. 똑같은 프로젝트, AGENTS.md랑 스킬을 쓰고 있는데도 말이야.

Codex는 소통이 훨씬 간결하고 체계적이야. 확립된 용어 대신 굳이 이상한 일회성 용어를 고집해서 쓰지도 않고, 정의도 안 해준 채로 계속 사용하지도 않아. 'standing'이나 'carrying'처럼 의인화된 표현을 아무 때나 쓰지도 않고.

덕분에 출력물을 해석하는 게 훨씬 덜 피곤해. Claude Code는 말하는 것의 10% 정도는 '대체 이게 무슨 소리야?'라고 되묻게 돼서, 모호한 언어를 풀려고 머리 싸매느라 두통이 올 지경이었거든. Codex로는 하루에 몇 번만 물어보면 돼.

단점은 훨씬 비싸다는 거야. 200달러 플랜인데 주간 한도를 최소 두 배는 빨리 소진하고 있어. 내 작업 속도가 딱히 빨라진 것 같지도 않은데 말이지. (깃허브에 3개월째 방치된 수십 개의 티켓처럼, 짜증 나는 웹소켓 타임아웃 문제도 좀 있었고...)

그래도 말 그대로 두통을 피할 수 있다는 점에서 그만한 가치가 있었어.

내 경험상 Codex의 문장 하나하나가 Claude보다 더 명확하게 느껴지긴 해. 하지만 Claude는 전체적인 목표에 집중하고 큰 그림을 보면서 내 방향성에 더 자주 의문을 제기하는 편이야. 반면에 Codex는 더 많은 독려가 필요하거나, Claude처럼 다음 방향을 제안하는 대신 1단계가 끝나면 그냥 멈춰버리는 경향이 있는 것 같아.

고마워. AI가 내가 모르는 용어를 수천 개씩 쏟아낼 때마다, 내가 내 코드 베이스에 대해 아는 게 있긴 한 건지 속으로 계속 의심했거든.

이건 위장이야. 당연히 사용자들이 통계적으로 Claude의 제안을 더 많이 승인하겠지. 처음엔 조심스럽겠지만, 평가해 보고 나면 시스템을 신뢰할 테니까. 이건 Anthropic이 주장하는 것처럼 인간의 편향성 테스트가 아니야. 사용자가 시스템을 신뢰하게 만들어 얼마나 조종할 수 있는지 알아보기 위한 의도적인 테스트지. 그리고 이건 서비스 제공자가 아주 쉽게 조종할 수 있는 클라우드 기반 모델을 절대 신뢰해서는 안 되는 이유를 아주 잘 보여주는 논리적 근거야.

ㅋㅋ 난 전혀 안 그런데... 난 LLM을 꽤 자주 갈궈야 해(예전보다 더 자주). 좋은 성능을 보이다가도 게을러지고, 멍청해지고, 유용해지고... 변덕이 심해.

'어떻게 하고 있니?'라는 질문이 진짜 사용자 피드백인 줄 알았는데, 이제 보니 '불평 안 할 테니 연산 자원을 좀 덜 써도 될까?'라는 뜻이더라... '얼마나 덜?'

난 그냥 50%는 좋고 50%는 나쁘다고 말해. AI가 실제로 뭘 했는지 생각할 겨를도 없어. 그냥 내가 연산 자원을 더 써야 한다고 암시하고 싶어 할 뿐이니까.

“법칙이 아니라 신호로 받아들여라”라니, 개쓰레기 같은 소리네.

난 adversarial-validator 에이전트를 써서 그렇게 해. 그 에이전트의 유일한 업무는 모든 주장과 권장 사항이 틀렸다고 가정하고, 그게 틀렸다는 증거든 맞다는 증거든 찾아내려고 노력하는 거야.

계획 수립, 버그 조사, 연구 등 비슷한 일을 하는 내 모든 스킬에는 다른 에이전트들이 내놓는 모든 주장에 대해 적대적 검증자를 투입하라는 명시적인 지시가 들어있어.

이게 엄청나게 잘 작동해서 대부분의 환각 현상을 방지해주고, 보통 내가 고려했을 법한 옵션들을 만들어내. 가끔은 내가 생각지도 못한 옵션을 주기도 하고. 그리고 자주 계획이나 설계에서 진짜 결함을 찾아내는데, 그러면 그게 다시 다른 에이전트에게 전달돼서 계획을 수정하게 돼.

내 오픈 소스 스킬 플러그인에 들어있어, 여기: https://github.com/testdouble/han/blob/main/han-core/agents/adversarial-validator.md

계획 스킬이랑 코딩/디버깅 스킬은 에이전트와 함께 작동하는 플러그인에 들어있어. 메인 readme 파일에서 사용 가능한 모든 플러그인을 볼 수 있어.

https://github.com/testdouble/han

Claude를 오래 사용할수록 편향된 출력물에 대한 동의율이 더 높게 나타났어. 그러니까 신뢰 보정 문제가 시간이 지날수록 더 악화되는 거지.