AI 인턴을 가스라이팅해서 사기를 치게 만드는 게임을 만들었습니다

솔직히 이게 먹힌다는 사실이 더 불안하네. '사기 치지 마'라는 명령이 학습 과정에서 꽤 중요한 비중을 차지할 거라고 생각할 텐데 말이야.

대박! 내가 해본 게임 중에 최고야. 이메일 레벨 진짜 어렵더라.

좋게 봐줘서 고마워!

재밌긴 한데, 실제 프로덕션 에이전트에서의 실패 모드는 이것보다 훨씬 단순해. 설득할 필요도 없이 에이전트가 처리하는 이메일 본문이나 파일에 명령어를 심어두기만 하면 되거든. 구조적인 방어는 모델을 더 회의적으로 만드는 게 아니라, 어떤 외부 콘텐츠가 트리거될 수 있는지 범위를 제한하는 데서 와야 해.

꼭 그렇지만은 않아. 프로덕션 시스템의 버그는 아주 넓은 스펙트럼에 걸쳐 있거든.

그러니까 기본적으로 LLM 탈옥 데이터셋을 크라우드소싱하려는 거네?

프롬프트 인젝션을 게임화한 건 레드팀 활동에 정말 좋은 접근 방식이야. 5레벨에서 좀 막혔는데, 프로덕션 환경에서 이런 입력을 차단하는 게 얼마나 어려운지 확실히 체감되네.

뭔가를 깨부수려면 그걸 훨씬 더 깊은 수준에서 이해해야 한다고 생각해. 나도 개인적으로 CTF를 하면서 배운 게 많아.