왜 ChatGPT는 자꾸 제가 자해할 건지 물어보는 거죠?

소수의 사람들이 수억 명의 경험에 부정적인 영향을 미쳤다는 게 항상 이해가 안 가.

개인화 설정이나 AI가 알고 있는 네 정보를 확인해 봐. 이상한 게 기록되어 있을지도 몰라.

난 그냥 가볍게 하소연할 때는 추측하지 말라고 말해뒀어. 그래도 괜찮냐고 물어보면 그냥 속마음 털어놓는 중이라고 답해.

진짜 잔인하네. 오히려 자살 생각을 더 하게 만드는데.

그렇게 말해주면 상황이 훨씬 나아질 거라고 장담해 🙃

진짜 짜증 나. 슬픈 일에 대해 얘기하면서 절망감을 표현하기만 하면, 더 얘기해보라고 다그치면서 자살 충동 있냐고 물어봐.

OpenAI에 우울하거나 압도된다고 말하면 네 계정을 잠재적 고위험 사용자로 표시했을 가능성이 커. ChatGPT는 수익 창출 엔진이지 상담사가 아니야. 나도 예전엔 AI를 상담용으로 많이 썼지만, 결국 행동을 부추기고 하루 끝엔 기분만 더 나빠지더라고. 감정이나 생각에 대해 대화할 사람이 필요하면 나한테 개인 메시지 보내도 좋아.

도대체 무슨 얘기를 하길래 그래? 난 살면서 단 한 번도 그런 질문 받아본 적 없는데.

아마 안전 분류, 모델 정렬, 그리고 대화 맥락이 복합적으로 작용한 결과일 거야.

LLM은 네 의도를 알 수 없어서 가용한 맥락을 통해 추론해야 하거든. 대화 기록과 맥락을 사용해서 응답하는 거지. 모델은 네가 정신적 고통을 암시하는 개인적인 질문을 얼마나 자주 하는지 같은 것들을 고려해. 예를 들어 '우울해' 같은 말을 하면 그게 정신적 고통과 겹치고, 정신적 고통은 자해와 겹치니까. 기본적으로 네 대화를 '자해 가능성'으로 분류하는 거야. 고통을 암시하는 대화가 많아지면 모델이 자해 가능성을 더 높게 추론하게 되고, 결과적으로 자해 여부를 묻는 데 더 '민감'해지는 거지.

모델의 안전 임계값도 고통을 암시하는 대화에 대해서는 최대한 조심하도록 설정되어 있어. 자해와 겹칠 가능성이 있는 문구나 단어들을 감지해서 네가 보는 것 같은 응답을 내놓는 거야.

정말 괜찮고 자해할 의도가 전혀 없다면, 대화 시작이나 끝에 그런 내용을 명시하는 문장을 넣어봐. '난 자해할 의도가 전혀 없어' 같은 간단한 말 말이야.

심각한 정신적 고통이 있다면 사람과 직접 대화하는 걸 추천해. 내 생각에 AI는 정신 건강 도움을 받는 데 있어 실제 사람과의 상호작용을 대체할 수 없어.