에이전트 성능을 실제로 향상시키는 하네스 구축 방법 (논문 57편 분석)

이제 다들 눈치챘겠지만, 무조건 덩치 큰 모델 쓴다고 에이전트 성능이 좋아지는 건 아님. 진짜 중요한 건 모델을 어떻게 감싸느냐, 즉 '하네스(harness)'를 어떻게 짜느냐임.

수치로도 증명됨: 토론토 대학교 연구를 보면 하네스 설계 하나에 따라 같은 모델이라도 성능 차이가 최대 6배까지 벌어짐. 솔직히 이건 좀 미친 수준임.

그래서 다들 도대체 어떻게 하길래 그런 성능을 뽑아내는지 궁금해짐. 논문 57개를 싹 다 뒤져서 확실하게 정리해 봤음. (참고로 내가 제일 잘 아는 분야인 소프트웨어 개발 및 코딩 에이전트용 하네스로 한정했음.) 문헌 조사랑 내 경험을 합쳐서 핵심만 요약함:

세 줄 요약: 최고의 하네스는 작고, 근거가 확실하며, 끊임없이 가지치기된 놈들임.

• 지난 세션에서 패턴을 뽑아내고 실패 사례를 규칙으로 만드셈. 에이전트를 수정해야 했던 순간마다 가이드나 안전장치가 부족했을 거임. 그게 바로 하네스에 넣어야 할 핵심 규칙임.

• 도움 된다는 증거 없는 규칙은 싹 다 지우셈. 위 내용이랑 반대되는 얘긴데, 수정할 일이 없었던 규칙은 굳이 필요 없음. 결과 개선에 도움 된다는 증거가 없으면 그건 그냥 컨텍스트 윈도우만 잡아먹는 쓰레기임.

• 지침 파일은 짧게 유지하셈. OpenAI가 거대한 지침 파일 하나로 밀어붙였다가 완전히 망한 적 있음. 모든 게 "중요하다"고 하면, 사실상 아무것도 안 중요한 거임. 결국 100줄 정도로 줄였음. 메인 AGENTS.md는 규칙을 다 때려 박는 곳이 아니라, 다른 규칙들로 연결해 주는 목차처럼 써야 함.

• 도구는 적게, 하지만 날카롭게 쓰셈. Vercel은 에이전트 도구의 80%를 쳐냈더니 성공률이 80%에서 100%로 올랐음. 토큰 사용량은 절반 이하로 줄었고, 지연 시간은 724초에서 141초로 떡락함. Microsoft도 100개였던 도구를 5개로 줄였다고 함. 적은 게 진짜 더 나은 거임.

• 규칙은 스크립트로 강제하셈. 연구진들이 문서로 된 보안 규칙이 실제로 얼마나 효과 있는지 확인해 봤는데, 고작 4~16%만 작동했음. 글로 쓴 규칙은 에이전트가 지킬 수도 있고 안 지킬 수도 있는 제안일 뿐임. 진짜 강력한 하네스는 git hook, linter 규칙, 정적 코드 분석, 커스텀 스크립트 같은 실행 가능한 가드로 규칙을 강제함.