너희가 만든 AI 에이전트에 대해 어떤 걱정을 하는지 알려줘.

어떤 파일을 바꾸는지, 왜 바꾸는지, 이게 꼭 필요한 건지조차 모르겠어. 머릿속에 항상 '왜?'라는 의문만 가득해.

내가 제일 무서운 건 에이전트가 겉보기엔 멀쩡해 보이는 툴 호출을 할루시네이션으로 만들어내서 이상한 부작용을 일으키는 거야.

그게 진짜 골치 아픈 게, '멀쩡해 보이는' 할루시네이션 호출은 나중에 확인해도 진짜 호출이랑 구분이 안 된다는 거야. 아무도 의심을 안 하니까 이상한 부작용이 그대로 터지고 나중에야 알게 되지. '멀쩡해 보이는가'를 확인하는 건 틀린 방식이야. 할루시네이션 호출은 정의상 그 검사를 통과하거든. 진짜 잡아야 할 건 '이 행동이 의도했거나 승인된 것인가'야. 할루시네이션은 보통 세부 사항에서 엇나가거든(잘못된 타겟, 건드리면 안 되는 범위, 아무도 요청하지 않은 리소스 등).

네가 말한 세 가지는 구체적인 방어책으로 해결할 수 있어. 데이터 유출을 막기 위한 출력 스캔(PII나 비밀 정보가 응답에 포함되지 않게), 실행당 토큰 및 단계 제한(루프가 예산을 다 태우지 않게), 그리고 키별 툴 범위 제한(에이전트가 작업에 필요한 것만 건드리게)이지. 우리는 정확히 이런 걸 만들고 있어. 왜냐면 진짜 걱정거리는 에이전트가 뻗는 게 아니라, 아무도 눈치채지 못하게 조용히 잘못된 행동을 하는 거거든.

내 가장 큰 걱정은 에이전트가 틀린 행동을 하면서도 자신만만하게 구는 거야.