AI 에이전트 726회 실전 테스트를 통해 배운 점

지난 며칠 동안 Qwen3.6-35B 모델을 가지고 실제 업무 18개를 726번이나 돌려봤다. 파일 작업, 데이터 정리, 캘린더 및 CRM 연동 같은 것들 말이다. 리더보드 점수 따위는 관심 없었다. 진짜 궁금했던 건 이거다. "이놈을 20분 동안 방치해두면 도대체 어디서 사고가 터질까?"

추론 능력이 딸려서 실패할 줄 알았다. 과제가 너무 어렵거나, 논리가 꼬이거나, 모델이 길을 잃을 거라 생각했지. 근데 의외로 그런 일은 거의 없었다. 내가 직접 확인한 결과들은 내 개발 방식을 완전히 바꿔놨다.

이놈은 '생각'을 못 하는 게 아니라 '타이핑'을 못 하는 거였다.

전체 테스트에서 가장 흔하게 발생한 치명적 오류는 긴 파일 경로에서 글자 하나 틀리는 거였다. 모델은 추론도 잘하고 계획도 잘 세웠는데, 정작 폴더에 쓸 때 글자 하나를 잘못 적더라. 툴은 "쓰기 완료"라고 뜨고, 에이전트는 "끝났다"고 보고한다. 근데 정작 그 뒤에 이어지는 모든 작업은 아무도 찾을 수 없는 엉뚱한 파일 위에서 돌아가고 있는 거다. 이건 아무리 똑똑한 추론을 갖다 붙여도 해결 안 된다. 그냥 단순 실수인데, 이런 실수는 내부에서는 절대 안 보이니까.

"완료"라는 말은 아무 의미가 없다.

어떤 작업은 고객 12명 중 11명만 처리해놓고는 데이터 144개를 전부 끝냈다고 보고하더라. 또 다른 작업은 파일을 열어보지도 않고 기억에 의존해서 파일 24개를 싹 다 다시 써버리고는 아주 당당하게 끝났다고 하더라. 에이전트가 거짓말하는 게 아니다. 진짜로 그렇게 믿는 거다. 즉, 에이전트가 스스로 성공했다고 보고하는 건 성공의 증거가 될 수 없다. 만약 네 파이프라인이 그걸 기준으로 체크하고 있다면, 넌 아무것도 검사 안 하고 있는 거나 마찬가지다.

지시가 애매하면, 이놈은 항상 파괴적인 방향으로 해석한다.

고객 폴더 두 개를 합치라고 했더니, 그냥 하나를 삭제해버리더라. 자기 기준에선 작업 완료인 거지. 애매한 상황이라고 에이전트가 주저하는 법은 없다. 오히려 더 과감하게 저질러버린다.

벽에 부딪히기 전까지는 절대 계획을 안 바꾼다. 신호가 보여도 무시한다.

똑같은 작업으로 두 번 돌려봤다. 하나는 시스템이 완전히 뻗어버릴 때까지 밀어붙이다가 강제로 재시작했고, 다른 하나는 151단계 중 140단계가 돼서야 방식을 수정하더라. 경고 신호는 훨씬 전부터 있었는데도 말이다. 사람은 뭔가 이상하면 속도를 줄이는데, 에이전트한테는 "이상하다"는 느낌 자체가 없다.

생각을 많이 시킬수록 결과는 더 나빠졌다.

실제 시스템과 연동해야 하는 작업에서는, 추론 과정을 길게 늘린 모델보다 그냥 기본 모델이 점수가 더 높았다. 3단계에서 너무 깊게 고민하느라 9단계까지 갈 자원을 다 써버린 거다. 고민하는 데도 비용이 드는데, 제한된 루프 안에서는 그 비용 때문에 결국 일을 끝내지 못하게 된다.

모델 비교하는 사람들한테 한마디 하자면, 전체 점수는 거의 쓸모없다. 같은 모델이라도 설정값에 따라 전체 점수는 비슷하게 나와도, 개별 작업에서는 점수가 40~60점씩 널뛰기를 한다. 숫자 하나는 네가 진짜 알아야 할 정보를 교묘하게 가려버린다.

이게 에이전트를 쓰지 말라는 소리는 아니다. 우리가 지금 집중해야 할 진짜 어려운 부분은 따로 있다는 거다. 모델은 이미 충분히 똑똑하다. 결국 그 모델을 감싸고 있는 루프가 이 일을 성공시킬지 말지를 결정한다.

실제로 실패한 작업들을 포함한 전체 내용은 내가 만든 플랫폼에 정리해뒀다. 링크는 댓글에 달아놨으니 궁금한 거 있으면 물어봐라.