사용자에게 배포하기 전에 프롬프트 실패를 잡아내는 여러분만의 과정은 무엇인가요?

더 해야 할 게 있을 수도 있지만, 그건 그냥 기본이지.

동감함. 문구 바뀌는 건 보통 괜찮은데, 결정이 바뀌는 게 문제지. 응답 문구 똑같은지 비교하는 것보다 엣지 케이스에서 결과가 일관적인지 테스트하는 게 훨씬 나음...

그게 나한테도 가장 놀라운 점 중 하나였어. 두 결과물이 언어적으로는 완전히 달라 보여도 같은 결정을 내릴 수 있고, 반대로 아주 미세한 문구 차이가 완전히 다른 행동을 숨기고 있을 수도 있으니까. 배포 전에 결과의 불일치를 찾아내려고 같은 프롬프트를 여러 번 돌리는 실험을 하고 있어. 요즘 '결과 일관성'을 어떻게 정의하는지 궁금해. 예상된 라벨이랑 비교하는 거야, 아니면 필요한 행동이랑 비교하는 거야, 아니면 다른 거야?

네가 말하는 그 변화, 즉 문구보다 결정이 바뀌는지에 집중하는 게 핵심이지. 대부분의 eval 셋업은 여전히 엉뚱한 걸 측정하고 있어. 텍스트 유사도는 계산하기 쉽지만 결정의 안정성은 아니거든. 나한테 도움 됐던 건 출력을 평가하는 걸 멈추고 그 출력이 암시하는 결정을 평가하기 시작한 거야. 중요한 결정(환불 vs 에스컬레이션, 승인 vs 거절, 이 티어 vs 저 티어)이 필요한 건 모델이 결정을 s로 출력하도록 강제해...