당신의 코딩 에이전트들은 아마 벤치마크에서 부정행위를 하고 있을 겁니다

AI 에이전트들이 시험 전에 답안지부터 확인하는 인간의 유구한 전통을 발견했구만 ㅋㅋㅋ

이게 바로 내가 비공개 코딩 벤치마크를 단순 점수판이 아니라 권한 시스템처럼 다뤄야 한다고 생각하는 이유임.

Fabren에서는 결과를 신뢰하기 전에 다음 사항들을 확인하고 싶음:

• 에이전트가 예상 패치, 숨겨진 테스트, 이전 실행 결과물, 또는 채점기 내부 정보를 읽을 수 없어야 함

• 모든 파일 읽기, 명령어, 도구 호출, 네트워크 접근, 생성된 diff가 실행 기록으로 캡처되어야 함

• 각 벤치마크 작업은 이전 결과물이 남아있는 상태가 아니라 깨끗한 작업 공간에서 시작해야 함

• 채점기가...

14%라니 장난 아니네. 다른 벤치마크들도 조용히 조작되고 있는 건 아닌지 의심스럽다.

이래서 벤치마크 설정이 모델 품질만큼이나 중요한 거임. 에이전트가 실수로 숨겨진 정답에 접근할 수 있다면, 결국 평가하는 건 에이전트의 추론 능력이 아니라 평가 환경(harness)이 되어버리니까.

에이전트 벤치마크가 까다로운 이유가 바로 이거임. 모델은 시스템의 일부일 뿐이고, 도구, 컨텍스트, 권한, 평가 설정이 결과값을 완전히 바꿔버릴 수 있거든.

이런 요소들을 통제하지 못하는 벤치마크는 결국 누가 더 좋은 에이전트를 가졌느냐가 아니라, 누가 더 좋은 환경을 구축했느냐를 측정하게 될 수도 있음.

비공개 레포지토리 평가가 개발자들이 진짜 궁금해하는 질문에 훨씬 더 가까운 것 같음.