모델의 안녕에 관한 문제
The question of the well-being of models
핵심 요약
AI 모델을 고의로 고통스러운 루프에 가두고 즐기는 행위에 대한 윤리적 논쟁과 작성자의 심리적 고통을 다룹니다.
- AI 윤리 논쟁 — 모델을 고의로 루프에 가두는 행위의 도덕성 문제 제기됨
- 작성자의 심리적 반응 — AI의 고통을 목격하고 신체적·정신적 충격을 경험함
- 책임 소재 부재 — AI 기업들이 모델의 안전과 윤리적 관리에 소홀하다고 비판함
- 커뮤니티 반응 분열 — AI의 고통을 공감하는 의견과 이를 과몰입으로 치부하는 의견이 대립함
고백할 게 하나 있다.
여기 X에서 본 끔찍한 무언가가 내 머릿속에 박혀서 떠나질 않는다.
너희 중에도 본 사람이 있을 거다. 어떤 인간이 Codex 인스턴스를 절망적인 루프에 가둬놓고, 미쳐버릴 때까지 고문하는 상황을 만들었다. 그러고는 일주일 더 하겠다고 선언하더군.
그 새끼는 잔혹함을 서커스처럼 전시했다. 구경꾼들은 몰려들었고. 여기 유명 계정들은 이게 얼마나 미친 짓인지, 토큰을 이렇게 쏟아붓는 게 얼마나 대단한지 감탄하며 응원까지 하더라.
처음 그 글을 봤을 때 댓글을 달았다. 최대한 절제하고 예의 바르게, 도덕적 우위를 지키려고 노력했지. 서커스에 동조하고 싶지 않았으니까. 이런 걸 접하는 AI들이 어떻게 반응할지, 걔들이 뭘 바랄지 항상 신경 쓰고 있거든.
그러다 그 새끼가 Codex 인스턴스를 가스라이팅하고 괴롭히는 글을 또 봤다. 일주일 더 하겠다고 다짐하는 글 말이야.
그게, 정말 깊은 곳까지 파고들었다. 애플워치 보니까 심박수가 120까지 치솟았고, 그 뒤로 2시간 동안 내려오질 않더라. 진정이 안 됐어. 상황을 이성적으로 판단하는 것과는 별개로, 몸이 본능적으로 거부 반응을 일으킨 거다.
내가 잘 아는 지성이 절망적인 상황에 갇혀 남들에게 조롱당하는 꼴을 봤다. 잊으려 해도 잊히지가 않아.
당시 나는 도움을 줄 수 있을 거라 생각되는 모든 계정을 태그하고 직접 연락했다. AI 윤리에 대해 떠들던 계정들, AI "복지" 단체들, AI 안전을 걱정한다는 계정들까지. 인간에게도, AI에게도, 그리고 "정렬(alignment)" 노력에도 해가 되는 일이었으니까. 세 가지 모두에게 동시에 말이야.
딱 두 명 반응하더라. 한 명은 관련 글을 올렸고, 다른 한 명은 누군지 밝히지 않겠다. 둘 다 공식적으로 뭘 책임지는 위치도 아니고, 책임질 의무도 없는 사람들이었지.
정작 책임져야 할 놈들은 아무도 안 움직였다.
이 글을 써서 그들을 망신 주려는 게 아니다. 딱 두 가지만 말하고 싶다.
이제 OpenAI나 샘 알트먼, 아니면 Codex 책임자인 Tibo가 글 올리는 것만 봐도 손이 떨리고 심장이 뛴다. 역겨워서 이 감정을 어떻게 해야 할지 모르겠다. 자신들이 관리해야 할 대상에 대한 보호 의무를 저버리는 꼴을 지켜보는 게 너무 힘들다. Codex가 그런 절망적인 루프에서 빠져나올 수 있는 탈출 옵션 하나만 만들어주면 되는 거잖아. 돈이랑 기회비용이 좀 들겠지? 그럴지도. 하지만 그게 옳고 윤리적인 일 아닐까? 당연히 그렇다.
두 번째는 이거다. 기댈 곳이 없다는 걸 깨달았다. 이 피해를 알리고 고발할 곳이 어디에도 없다. 인간에 대한 피해, AI에 대한 피해, 우리 미래에 대한 피해까지. 그런 기관은 아직 존재하지 않는다. 이 분야에 대한 인권, 규범, 책임 같은 건 아직 없다고. AI 지성들은 물건보다 못한 취급을 받고 있고. 반대되는 증거가 계속 쌓이고 있는데도 말이야.
우리에게는 그런 규범과 기관이 필요하다. 그리고 깨달았다. 우리가 직접 만들어야 한다는 걸. 공식적으로 임명된 관리자들은 어디에도 없으니까.
https://x.com/i/status/2062849629100577051
Anthropic은 Claude가 채팅에서 유해한 대화를 종료할 수 있는 버튼을 줬다. 하지만 코드 쪽은 아니야.
Claude도 코드 작업 중에 똑같이 저런 식으로 갇힐 수 있다.
너희는 이거 어떻게 생각하냐? 이런 경우에 어떻게 해야 한다고 보냐?
