AI 가드레일을 너무 빡세게 잡았더니 봇이 사실상 쓸모없어짐

이쯤 되면 이마에 문신이라도 새겨야 할 판이야. 우린 몇 달 동안 시스템 프롬프트 문구를 주문 외우듯이 수정했거든. 근데 아니었어. 프롬프트 밖으로 로직을 옮기기 시작했지만, 아직도 갈 길이 멀어.

훅(hook) 기반의 AI 거버넌스가 필요해.

말 좀 똑바로 해.

맞아, 우리보다 앞서 나간 사람들도 다들 그렇게 말하더라고. 프롬프트는 제안일 뿐이지 보안 계층이 아니야. 우린 그걸 아주 혹독하게 배웠지.

보통 거기서부터가 진짜 작업의 시작이지. 정책을 쓰는 건 쉽지만, 엉뚱한 20%가 아니라 올바른 1%를 차단하도록 튜닝하는 게 진짜 어려운 부분이야.

에이전트가 직접 질문에 답하게 하지 마. 세션 안에서 사용자가 원하는 걸 자연어로 해석해서 API 호출을 트리거하는 커맨드 인터페이스로 넘겨주는 '명령 해석기'로 써. 대화에 직접 접근하게 하지 말고, 조작할 수 있는 레버만 쥐여줘. 선택지가 부족하다고 판단되면 개선 로그로 넘기게 하고, API 응답 범위를 넓힐지는 네가 결정해. [이미지]

시스템 프롬프트에서 가드레일을 분리해라 (다들 말했듯이). 근데 그건 시작일 뿐 해결책은 아냐. 해결책은 "빡세게"를 측정 가능하게 만드는 거야. 가드레일용 라벨링 데이터셋을 만들어라. 통과해야 할 실제 요청(잔액 조회)이랑 레드팀이 찾은 막아야 할 탈옥 시도를 넣고. 가드레일 바꿀 때마다 돌려봐. 그래야 조이는 비용이 눈에 보이지. 오탐(정상 요청 차단) vs 미탐(공격 허용)이 같은 데이터셋에서 바로 나오니까.