AI 감사 가능성(auditability) 문제로 고생하는 분 또 계신가요?

이거죠.

우리가 이 문제를 해결할 수 있었던 건 모든 모델과 도구 호출을 게이트웨이를 통해 라우팅해서 행동 옆에 정책 결정을 기록했기 때문입니다. 단순히 '에이전트가 X를 했다'가 아니라 '정책 P가 평가됨, 판결 허용, T 시점에 도구 A/B/C가 범위 내에 있음' 식으로요. Databricks에서는 Unity AI Gateway를 쓰는데, 요청이 결정, 도구 호출, 페이로드와 함께 Unity Catalog 시스템 테이블에 저장됩니다. 법무팀이 물어보면 Genie Code로 평문 영어로 쿼리할 수 있죠.

제가 당신 입장이라면 에이전트의 행동을 환불 결정 트리와 결정론적으로 결합하고, 정책 인용을 exit0 기준의 일부로 만들 겁니다. 시스템 프롬프트만으로는 정책 준수를 보장하기 어렵지만, 모든 금전적 결정이 정책과 결정론적으로 묶이게 워크플로우를 설정하면 에이전트는 목적지에 도달하기 위해 구조적으로 올바른 행동을 할 수밖에 없게 됩니다.

기록은 제대로 설계/테스트/구현되기 전까지는 존재하지 않으니, 안타깝게도 이미 벌어진 상황에 대해 당신이 할 수 있는 건 별로 없습니다.

사후에 그 정확한 상황에 대한 비결정론적 로직을 재현하는 건 사실상 불가능합니다. 하지만 샌드박스 데모 모드에서 시나리오를 다시 실행하게 하고 각 결정에 대한 전체 감사 기록을 생성하라고 시킬 수는 있죠. 그걸 10번 정도 실행해서 전체 분석을 검토해보면 무슨 일이 일어났는지 더 명확히 이해할 수 있을 겁니다. 또한 중요한 결정을 내릴 때 어떻게 판단했는지 제대로 감사하고 올바른...

저는 결정을 에이전트 로그의 단순 이벤트가 아니라 버전이 관리되는 증거 기록으로 취급할 겁니다. 최소한 평가된 정확한 정책 버전, 당시 사용 가능한 관련 입력값과 권한, 에이전트가 취한 행동, 그리고 그 결과로 생성된 상태를 함께 보존하고 싶네요.

중요한 차이점은 행동 로그는 무슨 일이 일어났는지 증명하지만, 진짜 감사 기록은 무엇이 그것을 승인했는지, 그리고 나중에 검토하는 증거가 여전히...

우리도 비슷한 일을 겪었습니다. 최종 행동을 기록하는 건 쉽지만, 나중에 그 뒤에 숨겨진 맥락을 재현할 수 있게 하는 게 골치 아프죠. 저는 정책 버전, 입력값, 권한, 모델/버전이 모두 결정 로그와 연결되길 원합니다. 그렇지 않으면 추론 과정이 빠진 영수증만 가지고 있는 셈이니까요.

정말 좋은 구분입니다. 결정을 이끈 정책, 권한, 버전을 추적할 수 없다면 에이전트가 무엇을 했는지 기록하는 건 절반의 이야기일 뿐이죠. 전체 체인을 갖추면 감사가 훨씬 덜 고통스러울 겁니다.

Mastra 팀이 도입한 AI 트레이싱이 도움이 될지도 모르겠네요. 우리는 개발 워크플로우에서 작은 규모로 테스트 중인데, LLM이 제멋대로 행동하거나 이상한 결정을 내리지 않도록 하는 데 매우 유용하다는 걸 확인했습니다.

당신이 마주한 격차, 즉 승인 체인이 없는 행동 로그는 팀들이 트레이스(trace)와 감사 기록(audit trail)을 혼동하는 바로 그 지점입니다. 트레이스는 무슨 일이 일어났는지 기록하고, 감사 기록은 왜 그것이 허용되었는지 재구성하죠.

우리에게 효과적이었던 건 최종 행동뿐만 아니라 정책 버전 해시와 규칙 엔진의 결정 입력값(결정 시점의 에이전트 맥락 스냅샷)을 기록하는 것이었습니다. 그러면 결정 기록을 다시 재생할 수 있게 되죠. 예전 정책 스냅샷을 바탕으로 결정을 다시 실행해서 '허용됨'을 증명할 수 있으니까요.