에이전트 프로덕션 환경에서 사용자들이 허점을 찾는 걸 어떻게 막나요?

내 생각엔 jailbreak된 모델은 별 문제 아님. 사람들이 도구랑 뭔 대화를 하든 알 바 아님. 내 의견으론 모델에 unsanitized input을 허용하는 시점에서 이미 글러 먹은 거임.

그럼 안 되지. 외부 사용자가 DB 쿼리하게 해준다고 해서 직접 SQL 접근을 허용하면 안 되는 거랑 똑같음.

그럼 원래 요점을 모르겠네. 직접 SQL 접근이 가능한데 텔레메트리랑 트레이싱 붙이는 게 무슨 소용임?

여기서부턴 너무 주니어 수준이라 길게 말 안 함. 민감한 시스템에 직접 접근 허용하는 건 잘못된 거임. 그걸 막으려고 sanitization 규칙을 넣었으면, 그 규칙이랑 패턴이 제대로 작동하는지 확인하려고 추적 가능성이 있어야지.

그럴 수도 있는데, 그건 집 얘기하면서 기초 공사 언급 안 했다고 하는 거랑 똑같음.

채용 에이전트 만들 때 메인 에이전트가 보기 전에 문서 메타데이터 확인하고 통계 분석(perplexity, burstiness) 돌리는 전용 전처리 레이어 만들었음. 수동 검토 60% 줄였는데, 여전히 창과 방패의 싸움 같음.

프로덕션 올리자마자 단일 'super-prompt' 방식은 바로 버렸음. 3단계 레이어 순차적으로 돌리는 게 훨씬 나음. regex랑 메타데이터 체크로 뻔한 거 걸러내고, 그 다음에 메인 에이전트가 입력받게 함. 관리할 건 많아도 메인 에이전트가 노이즈나 adversarial input을 볼 일이 없음.

우리 메인 안전장치는 확실한 confidence cutoff임. 에이전트가 자체 보고한 confidence랑 내부 점수 둘 다 90% 넘어야 자율적으로 행동함. 70~90% 사이는 바로 human-in-the-loop 대시보드로 넘김.

사용자 질문 살균하고, 의도 분류해서 관련 컨텍스트 모은 다음, 그걸 모델에 넘겨서 아주 구체적인 지침대로 답하게 함. 의도마다 지침도 다르게. 코드가 다 하는 거고 모델 답변은 1% 정도임.