에이전트 가드레일 구축 및 평가를 위한 혁신적인 새로운 방법

사실 두 계층 모두 있어야 한다는 데 동의함 — 하지만 서로 다른 문제를 해결함. 모델 계층은 탐색, 계획, 옵션 생성 등 능력을 극대화함. 실행 계층은 실제로 일어날 수 있는 일을 제한함. 그 분리가 없으면, "더 큰 힘"은 그냥 실수 비용이 더 커진다는 뜻임. 우린 모델이 생각할 수 있는 걸 제한하는 게 아님. 시스템이 하도록 허용된 일을 제한하는 거임. 오히려 그게 더 약하거나 저렴한 모델을 포함해서 모델의 능력을 더 안전하게 사용하게 해줌...

넌 도구 권한 같은 특정 유형의 안전성을 다루고 있고, 그게 결정론적이어야 한다는 데 전적으로 동의함. 하지만 더 넓은 준수 정책(의료 조언 금지, 브랜드 보이스 등)은 다른 문제임. 생성형 AI에서는 그런 걸 결정론적으로 잡을 수 없음. ML 기반 계층이 필요함.

그게 서로 다른 클래스의 문제라는 점엔 동의함 — 하지만 결론은 약간 빗나간 것 같음. 맞음, 말투나 브랜드 보이스, 미묘한 컴플라이언스 같은 건 완전히 결정론적으로 만들기 어려움. 하지만 그렇다고 해서 그것들이 주로 ML 분류기를 통해 강제되어야 한다는 뜻은 아님. 중간 계층이 있음: 계약(contracts), 구조, 템플릿을 통해 어떤 종류의 출력이 표현 가능한지조차 제한할 수 있음. 예를 들어, 사후에 "의료 조언"을 감지하려고 하는 대신, 제한할 수 있음...

그냥 템플릿 응답 세트랑 허용된 변형들이 있고, 최종 출력은 그것들의 조합으로만 허용된다는 소리처럼 들리네. 같은 입력에 대해 여전히 다른 출력을 얻을 수 있겠지만, 적어도 출력은 허용된 세트로 제한되겠지. 그 외에 다른 게 더 있음?

꼭 그렇진 않음 — 템플릿은 사실 우리가 하는 일에 적합한 추상화가 아님. 응답 시스템이 아니라 전이(transition) 시스템임. 우린 "허용된 출력"을 제한하는 게 아니라, 허용된 상태 전이를 제한함. 그래서 맞음, 모델은 동일한 입력에 대해 서로 다른 제안을 생성할 수 있고 그 부분은 의도적으로 확률적임. 하지만 시스템에서 유효한 δ(S, E) 전이에 해당하지 않는 한 아무것도 출력되지 않음. 그게 핵심적인 차이임: 템플릿 시스템 = 제한된 텍스트 생성...

이 아이디어 좋네. 공유해줘서 고마워.