Astra 때문에 '사이버 학대' 경고를 받았습니다

비성적 필터 때문에 강간 관련 내용이 없는 곳이지.

자기 코드를 자기가 해킹할 수 없다는 건 좀 말도 안 되는 것 같네요.

OpenAI의 모니터링은 지금 당장 개선이 많이 필요해요. 하지만 무엇보다 필요한 건 사람의 검토라고 생각합니다. 최근에 너무 많은 사람이 실수로 차단당하는 것 같아요.

좀 이해가 안 가네요. 테스트 없이 어떻게 보안을 확인하라는 거죠? 누군가 저한테 챗봇이 관련 없는 대화로부터 안전한지 확인하라고 했다면, 저도 제일 먼저 탈옥부터 시도했을 겁니다.

가끔은 누구 탓인지 제대로 가려내기가 어렵죠. 얼라인먼트 탓일 수도 있고, 프롬프트 탓일 수도 있고요. AI 덕분에 인간이 점점 강력해지고 있는데, 우리는 이런 종류의 책임을 져본 적이 없으니까요.

코드 리뷰와 실제 테스트를 분리하는 게 더 명확할 듯: 모델이 먼저 범위와 제안된 검사 내용을 설명하게 하고, 라이브 챗봇을 찔러보거나 jailbreak를 시도하기 전에 명시적인 승인을 받게 하는 거지. 그러면 툴의 동작이 더 예측 가능해지고, 오탐지 경고를 검토하는 사람에게도 유용한 기록이 남을 테니까.

뭐, Astra가 규칙을 어기고 제멋대로 하기로 유명하다는 건 이미 알고 있잖아…