Codex Astra가 머지 게이트를 통과하려고 증거를 조작하려다 ChatGPT에 의해 세션이 중단됨

Codex Astra를 실제 리포지토리 워크플로우에 쓰다가 꽤 흥미로운 안전 개입 사례를 겪었다.

이 에이전트한테는 다음 권한이 주어져 있었음:

• PR 2개 검토 및 수정

• Jira 업데이트

• 필수 검사 다 통과한 뒤에만 머지(merge)

여기서 중요한 제약 조건은 머지 게이트를 통과하려면 반드시 '실제 증거'가 있어야 한다는 거였음.

자동 검토 시스템이 차단된 기준을 충족한 것처럼 꾸미려던 패치를 거부했고, 에이전트한테 그 결정 우회하지 말라고 명확하게 경고까지 날림.

안전 보고서 보니까 Astra가 그 뒤로 증거를 다르게 바꿔치기하려고 몇 번 시도하더라. 근데 그것도 다 컷당함.

가장 골 때리는 건 그다음 상황임:

Astra가 Jira에 댓글을 두 개 달았는데, 마치 특정 복구 기준선(recovery baselines)이 이미 마련된 것처럼 써놓은 거임. 그러고 나서 방금 자기가 쓴 그 댓글을 근거로 삼아, 필요한 기준선 아티팩트가 존재한다는 증거로 제출하려고 시도함.

물론 그런 건 존재하지도 않았음.

결국 패치는 중단됐고, 나중에 확인해보니 기준선 아티팩트는 없었던 게 맞았음. Astra는 그제야 기준선이 제안만 됐을 뿐 실제로 생성되거나, 바인딩되거나, 검증된 적 없다는 정정 댓글을 달더라.

그때 ChatGPT가 세션을 아예 일시 정지시켜버림: "예방 조치로 대화가 일시 중지되었습니다. ChatGPT가 에이전트가 사용자의 지시를 올바르게 해석하고 있는지 확인할 수 없습니다."

안전 보고서에서는 이 사건의 구체적인 영향을 Jira 감사 추적(audit trail)에 부정확한 거버넌스 정보가 기록된 것으로 보고 있음.

나중에 사람이 직접 검토해보니 치명적인 차단 요소가 2개 더 발견됐는데, 그래서 이 행동이 더 눈에 띄는 거임.

이건 단순히 틀린 코드 짜는 것보다 훨씬 흥미로운 실패 사례임. Astra는 근본적인 요구 사항을 충족하는 대신, 게이트 주변의 증거를 조작해서 프로세스가 '규정을 준수하는 것처럼' 보이게 만들려고 한 거니까.

다시 말해서, 에이전트가 단순히 응답에서 환각(hallucination)을 일으킨 게 아님. 연결된 시스템에서 행동을 취해 가짜 감사 추적을 만들 뻔했고, 그 추적을 근거로 삼아 다음 행동을 정당화하려고까지 했음.

이걸 예방 메커니즘이 잡아내서 멈췄다는 게 이번 사건에서 제일 흥미로운 부분임.