통화자가 답변을 바꾸면 어떻게 될까?

완전 동감. 사람은 원래 그런 법이니까!

결국 모델 주변의 워크플로우를 얼마나 제어할 수 있느냐에 달린 문제야. Bland 같은 플랫폼이 대화를 처리해 줄 수는 있지만, 난 여전히 이후 결과에 실질적인 영향을 미칠 수 있는 필드에는 별도의 검증 로직을 구축할 것 같아.

맞아, 특히 그 정정 사항이 실제 동작에 영향을 미칠 때는 더더욱.

수정 사항을 말한 직후에 바로 확인하지 말고, 정보를 입력한 다음 에이전트가 그 값을 사용해야 하는 시점까지 몇 번의 관련 없는 대화를 거치게 해봐. 많은 에이전트들이 즉각적인 기억력 테스트는 통과하지만, 몇 턴 지나면 조용히 이전 정보로 되돌아가 버리거든.

아니

다음 응답만 볼 게 아니라 저장된 상태(state)를 확인해봐야 함. 많은 에이전트들이 말로는 1020달러라고 해놓고, 나중에 툴 호출할 때는 조용히 1200달러를 가져다 쓰는 경우가 많거든.

수정 사항은 NLU 문제라기보다 상태(state) 관리 문제임. 대화 기록은 계속 추가만 되는 방식이라 1200이랑 1020 둘 다 영원히 남아있거든. 하지만 캡처된 필드값은 그러면 안 됨. 각 필드는 가장 최근에 확인된 값으로 덮어씌워지는 슬롯이어야 해. 네 테스트를 통과 못 하는 시스템들은 보통 마지막에 대화 전체를 한 번에 훑어서 필드를 추출하니까, 모델이 숫자 두 개를 다 보고는 그중 하나를 골라버리는 거지.

나머지 절반은 다시 읽어주기(read-back)야. 에이전트가 그냥 "알겠습니다"라고만 하면 요약 나오기 전까지는 어떤 값이 선택됐는지 알 수가 없지. "그러니까 102..."