r/AI_Agents•4개월 전•3•9
금융 에이전트는 자율성보다 제약이 더 필요하다
Financial agents probably need less autonomy, not more
핵심 요약
금융 AI 에이전트의 자율성을 제한하고, 안전한 거래를 위해 엄격한 시스템 가드레일과 인간의 승인 절차를 도입해야 한다는 주장.
- 금융 에이전트 — 자율성보다는 안전한 거래를 위한 제약이 필수적임
- 거래 프로세스 — 조사, 의도 확인, 시뮬레이션, 승인, 실행의 단계적 구조를 제안함
- 필수 가드레일 — 개인키 관리 금지, 시뮬레이션 필수, 거래 한도 설정 등을 강조함
- 시스템 경계 — 에이전트의 자율성과 시스템 강제 가드레일 사이의 균형점을 논의함
AI 에이전트와 DeFi를 결합한 서비스를 개발하면서 계속 한 가지 생각에 도달하게 된다.
위험한 흐름은 다음과 같다:
프롬프트 → 도구 호출 → 트랜잭션
돈이 관련된 모든 일에는 다음과 같은 모델이 더 안전하다고 생각한다:
조사 → 유형화된 의도 → 정책 확인 → 시뮬레이션 → 필요시 승인 → 실행 → 영수증
에이전트가 단순히 "거래를 수행"해서는 안 된다. 구조화된 의도를 제안하고, 별도의 실행 계층이 규칙을 강제해야 한다.
필수적으로 적용하고 싶은 것들:
- 에이전트가 개인키를 직접 다루지 않음
- 원시 임의 calldata 사용 금지
- 시뮬레이션 없는 실행 금지
- 최대 트랜잭션/일일 한도 설정
- 프로토콜 및 토큰 허용 목록(allowlist) 운영
- 특정 금액 이상 시 인간의 승인 필요
- 에이전트의 행동 이유를 설명하는 영수증 제공
이렇게 하면 에이전트의 자유도가 떨어지는 건 당연하지만, 아마 그게 핵심일 것이다.
실무용 금융 에이전트에서 에이전트의 자율성과 시스템이 강제하는 가드레일 사이의 경계는 어디쯤이어야 한다고 생각하는가?
