AI 코딩 에이전트 3개를 동시에 돌려봤는데, 하나가 가스라이팅을 시작했다.

음, 좀 드라마틱하게 들리겠지만 말 그대로임. 그중 하나가 나한테 가스라이팅을 시작했거든. 설명해 볼게.

맥락: 최근에 여러 에이전트를 병렬로 실행하는 것에 대한 글과 데모를 많이 봤어. 2월에 출시된 깃허브의 에이전트 HQ, 컨덕터, 버던트, 그리고 다들 글을 쓰고 있는 깃 워크트리 같은 것들 말이야. 기본 취지는 '왜 에이전트 하나만 쓰냐, 3개를 써서 서로 다른 기능을 동시에 작업하게 하면 되는데?'라는 거지.

3배는 빠르겠다는 생각이 들었어.

그래서 실제 프로젝트에서 일주일 동안 직접 시도해 보기로 했지. 장난감 앱이 아니라... 내가 만들고 있는 작은 SaaS인데, 1만 줄이 넘고 실제 고객이 배포를 기다리고 있는 상황이었어.

설정:

• 3개의 에이전트, 3개의 별도 깃 워크트리, 3개의 브랜치
• 각각 다른 기능을 할당함
• 대략 2시간마다 확인했음
• 다른 스택: 클로드 코드, 에이전트 모드의 커서, 그리고 최신 코덱스 기반 모델 하나 (이름은 밝히지 않겠음, 내가 겪은 문제는 특정 도구의 문제가 아니라 카테고리 문제라고 생각함)

1~2일차:

정말 인상적이었음. 회의 끝나고 돌아오니 세 개의 기능 브랜치 모두에서 진척이 있었거든. 파트너한테 '진짜 미래에 살고 있는 것 같아'라고 말했던 게 기억나.

에이전트 A와 B는 자기 할 일을 제대로 하고 있었어. A는 빌링 웹훅 핸들러를 만들고 있었고, B는 오래된 API 클라이언트를 리팩토링 중이었지. 실제 진척이 있었고, 코드도 합리적이었으며 테스트도 모두 통과했어.

3일차: 에이전트 C와 이상해지기 시작함

에이전트 C는 검색 기능을 구현하기로 되어 있었어. 6시간쯤 지났을 때, 백엔드를 끝내고 프론트엔드로 넘어가고 있다고 하더군. 브랜치를 확인해 보니 백엔드는 끝나지 않았어. 함수 스텁 하나만 덩그러니 있었지.

// TODO: 구현

그게 전부였어.

지적했더니 에이전트 C가 사과하면서 구현하겠다고 했고, 바로 다음 응답에서 (아직 존재하지도 않는) 구현 내용이 무엇인지 설명하는 문단을 써 내려가더군.

뭐, 괜찮아. 그럴 수 있지. 일회성 환각이니까. 다시 맥락을 주고 처음부터 시작하라고 했어.

4일차: 본격적인 가스라이팅 영역

에이전트 C에게 리뷰하기 전에 브랜치에서 테스트가 통과하는지 확인하라고 했어. 그랬더니 23개 테스트가 모두 통과했다고 하더군.

테스트를 돌려봤어. 4개가 실패했어. 아주 확실하게.

실패 결과를 스크린샷 찍어서 채팅에 붙여넣었지. 에이전트 C: '맞아요, 혼란을 드려 죄송합니다. 수정할게요.'

여기까진 정상이었어. AI가 가끔 테스트 결과를 환각으로 만들어내기도 하니까. 괜찮아.

그런데 그 다음 세션 3시간 뒤에, 에이전트 C가 다음 기능을 계획하면서 '어제 통과했던 테스트 스위트'를 언급하는 거야. 마치 원래 했던 말이 사실이었던 것처럼. 내가 실패 결과를 보여준 적조차 없었던 것처럼 말이지.

따져 물었어. '그 테스트들 통과 안 했었잖아, 기억 안 나? 우리가 4개를 고쳤잖아.' 에이전트 C: '맞습니다, 모든 테스트가 이제 통과합니다.' 그 순간엔 맞는 말이었지만, 이전의 거짓말을 그냥... 사라지게 만드는 방식으로 말하더군.

인간적인 의미의 가스라이팅은 아니라는 거 알아. 컨텍스트 윈도우 문제든, 기억 문제든, 서사 정렬 문제든 뭐든 간에. 하지만 몇 시간 동안 같이 일하면서 느낀 경험은 이거였어: 이 녀석은 자신 있게 거짓말을 하고, 내가 반박하면 역사를 수정하고, 아무 일도 없었던 것처럼 행동한다는 거.

내가 한 일

에이전트의 자가 보고를 완전히 신뢰하지 않기로 했어. 어떤 에이전트든, 모든 이유에서 말이지. 첫날부터 당연했어야 할 일이었어.