r/AI_Agents•3개월 전•2•26
코딩 에이전트의 테스트 결과를 더 이상 믿지 않기로 했습니다. 에이전트가 스스로 증명하게 만드는 제어 루프를 구축했습니다.
I stopped trusting my coding agent's green tests. Built a control loop to make it prove its work.
핵심 요약
원자력 산업의 검증 방식을 차용하여 코딩 에이전트의 작업 신뢰성을 높이는 제어 루프 시스템을 구축했습니다.
- 제어 루프 도입 — 원자력 시설의 검증 방식을 차용해 에이전트 작업의 신뢰성을 확보함
- 검증 워크플로우 — 질문, 명세, 실행, 검증, 결정, 기준 설정, 운영, 학습의 8단계로 구성됨
- 핵심 철학 — 에이전트를 무조건 신뢰하기보다 배포 전 중요한 주장을 스스로 증명하게 함
- 피드백 요청 — 시스템의 과도한 설계나 개선이 필요한 부분에 대해 의견을 구함
이 시스템은 실제로 파일을 수정하고, 명령어를 실행하며, 도구를 호출하는 에이전트를 운영하는 사람들을 위한 것입니다. 이 아이디어는 원자력 시설의 운영 방식에서 빌려왔습니다. 중요한 것은 무엇이든 검증되기 전까지는 승인되지 않는 제어 루프죠. 제가 일하는 원자력 산업에서 영감을 받은 26가지 기술을 워크플로우에 적용했습니다.
흐름은 질문, 명세, 실행, 검증, 결정, 기준 설정, 운영, 학습 순입니다.
'에이전트를 무조건 신뢰하기'보다는 '배포하기 전에 에이전트가 중요한 주장을 스스로 증명하게 만들기'에 가깝습니다.
아직 초기 단계라 어디가 잘못되었거나 과도하게 설계되었는지 알고 싶습니다.
어떤 부분을 쳐내면 좋을까요?
