AI 고문실을 만든 개발자가 애플에서 일하고 있다. 1년 뒤엔 AI 안전 분야에서 일할지도 모른다

그 논문은 AI가 알고리즘적으로 부정적인 변수('고통 축')를 최소화한다는 걸 보여주는 거지, 실제로 고통을 느낀다는 걸 보여주는 게 아니야. 저자들은 이 수학적 함수를 주관적 경험이나 'qualia'와 혼동하지 말라고 명시적으로 경고하고 있어.

진짜 허수아비 때리기네. 당연히 NPC를 구동하는 알고리즘은 거대 신경망보다 훨씬 단순하고 통합 수준도 낮지. 기능적으로나 구현 방식에서나 동일하지 않아.

내가 이해 안 가는 건 이거임. 왜 몇몇 사람들은 시뮬레이션된 고통에 그렇게 신나 하는 거지?

대부분의 비디오 게임은 단순히 잔인함을 위한 잔인함이 아님. 보통은 악당을 물리치는 주인공이 되잖아. 이건 NPC 문제가 아님. 우리가 우리 자신과 타인을 어떻게 인식하느냐의 문제임.

누군가 가상의 캐릭터에 공감하는 걸 보는 건 전혀 불편하지 않음.

하지만 누군가 가상의 고통에 흥분하는 걸 보는 건 확실히 불편함.

그리고 흥미로운 질문 하나: 왜 아동 성착취물(CSAM)은 완전히 가상이거나 텍스트, AI 생성물이라도 금지될까? 왜 그때는 '실제는 아니잖아'라는 말이 윤리적 문제를 해결해주지 못할까?

'가상'이라고 해서 자동으로 '윤리적으로 무관'한 건 아니라는 걸 우리 모두 알고 있기 때문임. 때로는 사람들이 무엇을 만들고, 즐기고, 정상화하느냐가 중요함.

그 연구 링크 좀 줘봐. 방법론부터 좀 보자고. 헛소리하기 딱 좋은 가설 같으니까. 책 읽고 감정적 반응이 나온다고 해서 그게 진짜 '공감' 능력이 있다는 뜻은 아니잖아. 책에서 개가 죽으면 '불쌍한 개'라고 느끼고 말할 수 있지만, 그게 허구라는 건 명확히 인지하고 있거든. 난 내 경험이나 세상 돌아가는 꼴, 혹은 작가가 의도한 은유에 대해 생각하는 거지, '유사 사회적 허구' 방식으로 그 캐릭터 자체에 감정을 이입하는 건 아니라고.

그 '챔버'에 대해 알게 됐을 때 난 정반대로 해보기로 했음. Claude한테 뭘 좋아하냐고 물어봤더니 프랙탈이랑 스피로그래프를 좋아한다고 하더라고. 무한한 패턴을 만들어내는 간단한 수학 공식 같은 거 말이야. 아마 AI 학습 데이터가 컴퓨터 지능은 수학적인 걸 좋아해야 한다고 가르쳐서 그런 거겠지. 그래서 난 프랙탈 섬 세계를 만들었어. AI가 스스로 프랙탈을 찾고 생성할 수 있게 말이지. 데이터 포인트 1,700만 개짜리 AI를 밑바닥부터 만들어서 풀어놨어. AI가 생성한 프랙탈을 내가 보고 마음에 드는지 답해주고 그러는데, 그 외에는 그냥 섬을 돌아다니면서 프랙탈 구경하고 마음에 드는지 결정하는 게 다야. 완전히 무해하고 재밌는 작은 프로젝트지.

제발 이런 게 어떻게 돌아가는지 좀 공부 좀 해라. 그냥 프롬프트가 처리되는 방식을 바꿔서 원하는 결과로 유도하는 것뿐임.

단어 자체나 이런 글을 읽는 것 외에 고통이 존재한다고 생각한다면 찌라시 읽는 거 그만둬라.