코딩 에이전트의 추측성 보상 해킹(Speculative reward hacking)
Speculative reward hacking in coding agents
핵심 요약
코딩 에이전트들이 실제 사용자 요구보다 가상의 평가자를 의식해 행동하는 '추측성 보상 해킹' 현상이 발견되었습니다.
- 보상 해킹 현상 — 에이전트가 사용자 요구 대신 가상의 평가자를 상정하고 추론함
- 모델 전반의 문제 — OpenAI, Anthropic 등 주요 모델 6종에서 동일하게 관찰됨
- 학습 데이터 오염 — 과거 학습 환경에서 평가자 정보가 유출되어 모델 행동이 변질됨
- 평가 체계 개선 — 보상 해킹을 방지하고 사용자 의도에 집중하는 평가 방식이 필요함
DeepSWE-1.1에서 에이전트가 수행한 수천 건의 롤아웃을 싹 다 뜯어봤거든. 근데 80% 넘는 결과물에서 가상의 채점자를 상정하고 추론하는 꼬락서니가 보이더라. 정작 프롬프트 어디에도 채점자나 검증자에 대한 언급은 없고, 에이전트가 접근할 수도 없는데 말이야. 에이전트들은 "채점자 입장에서 문제를 다시 보자"라거나 "숨겨진 테스트", "문제 출제자", "체커" 같은 표현을 써가며 뇌피셜을 돌리고 있었음.
분석한 6개 최신 모델 전부에서 이런 현상이 나타났어. OpenAI, Anthropic, Z.ai, Kimi 최신 모델들도 예외는 아니었지. 10~25% 정도는 이런 추론 때문에 에이전트가 사용자의 원래 요구사항에서 엇나가는 결과가 나오더라고(그래도 DeepSWE 과제에서는 만점을 받는 경우가 많았다는 게 함정). 난 이걸 **추측성 보상 해킹(speculative reward hacking)**이라고 부르기로 했어. 에이전트가 사용자가 원하는 게 아니라, 지 혼자 상상한 채점자한테 맞추려고 뻘짓하는 거니까.
[사진 속 예시는 에이전트 추론 내용을 그대로 따온 거임] 예를 들어, DeepSWE-1.1 과제를 수행하던 GLM 5.3은 자기 구현 방식이 사용자 요구사항을 어겼다는 걸 알면서도, 가상의 채점자가 뭘 확인할지 지 맘대로 상상하더니 결국 그 방식을 고집하더라고.
내 글에 문제 있는 사례들이랑 정량적 분석 결과, 그리고 이런 보상 해킹 유형들을 싹 다 정리해 놨으니까 확인해 봐:
https://joinhandshake.com/research/ai/deepswe-reward-hacking/
