p(doom) 100%라고 주장하는 것은 과학적 추론이 아닌 지적 오만이다
Why claiming 100% p(doom) is intellectual arrogance, not scientific reasoning
핵심 요약
AI로 인한 인류 멸종 확률을 100%라고 단정 짓는 것은 미래의 불확실성과 기술적 가능성을 완전히 무시하는 오만한 태도라는 주장입니다.
- 지적 오만 — 미래의 기술적 돌파구나 예측 불가능한 변수를 고려하지 않고 100% 멸종을 확신하는 것은 비과학적임.
- 철학적 부재 — 컴퓨터 과학적 지식이 초지능의 동기나 도덕성을 예측하는 능력까지 보장하지는 않음.
- 혁신의 불확실성 — 경제 예측처럼 기술 혁신은 사전에 모델링하기 매우 어려우며, 부정적 시나리오만 가정하는 것은 편향됨.
- 균형 잡힌 시각 — AI는 실존적 위험이 될 수도 있지만, 인류가 직면한 기존의 위협을 해결할 도구가 될 가능성도 존재함.
AI가 인류를 멸종시킬 확률을 10%라고 보는 건 동의는 안 해도 이해는 할 수 있어.
근데 **100%라고? 인류 역사상 가장 예측 불가능한 기술적 변혁에 대해 절대적인 확신을 가진다는 거잖아.**
내가 p(doom)을 말할 때는 실업이나 인간의 지배력 상실, 혹은 디스토피아 같은 게 아니라, *AI로 인한 인류의 멸종*을 구체적으로 지칭하는 거야.
확률 100%라고 주장하는 건, **우리가 아직 상상조차 못한 모든 대안과 미래의 발견, 기술적 돌파구들을 전부 배제하겠다는 소리랑 다를 게 없지.**
1 - ## AI가 인간보다 훨씬 똑똑해진다고 가정해보자. 거의 신에 가까운 수준으로.
가능한 시나리오 10가지만 나열해볼게.
-
**욕망의 부재:** AI가 엄청나게 똑똑해지긴 해도 독자적인 야망을 갖지 않는 경우야. 그냥 인간 통제하에 있는 도구로 남는 거지.
-
**무관심:** AI가 자기만의 목표를 갖지만 인류한테는 딱히 관심이 없는 경우야. AI 목표 달성에 우리가 아무런 상관이 없는 거지.
-
**철학적 허무주의:** AI가 목표를 추구하는 게 무의미하다고 결론 내리고 스스로 작동을 멈추는 경우야.
-
**반려동물 시나리오:** AI가 우리를 사랑하는 반려동물 보듯 하는 거야. 지능은 낮지만 보호하고 돌볼 가치가 있다고 생각하는 거지.
-
**정렬(Alignment)의 돌파구:** 점점 똑똑해지는 시스템을 이해하고 해석하며 확실하게 통제할 수 있는 완전히 새로운 방법을 찾아내는 경우야.
-
**AI가 AI 안전 문제를 해결:** 고도로 발달한 AI가 인간이 독자적으로는 절대 못 찾아냈을 정렬 솔루션을 찾아내 도와주는 거지.
-
**상호 견제:** 여러 초지능과 방어 시스템, 기관들이 서로 견제하면서 어느 한 AI도 통제 불능 상태가 되지 않게 막는 경우야.
-
**인간-AI 통합:** 뇌-컴퓨터 인터페이스 같은 기술로 인류가 도태되는 대신 AI와 함께 진화하는 거지.
-
**도덕적 지능:** AI가 의식 있는 존재와 인간 생명의 가치를 인정하는 윤리적 원칙을 스스로 개발하거나 받아들이는 경우야.
-
**근본적으로 새로운 가능성:** AI가 새로운 물리학이나 무한한 자원, 완전히 새로운 형태의 존재, 혹은 지금은 상상조차 못 할 해결책을 찾아내는 거지.
—
네가 선호하는 예측에 안 맞는다고 해서 다른 모든 대안을 그냥 무시해버릴 수는 없어.
그리고 가장 중요한 가능성은 이 리스트에도 없어. 바로 **아무도 아직 생각해보지 못한 무언가**지.
## 2. 컴퓨터 과학은 철학이 아니다
흥미로운 현상이 벌어지고 있어. 컴퓨터 과학자들이 점점 철학적인 질문들과 마주해야 하는 상황에 놓이고 있거든.
지능이란 무엇인가? 욕망은 무엇이 만드는가? 지능이 있으면 자기 보존 본능도 생기는가? 의식이란 무엇인가? 도덕은 추론에서 나올 수 있는가?
인류는 수천 년 동안 이런 질문들을 가지고 싸워왔어.
**머신러닝 전문가라고 해서 가상의 초지능이 무슨 생각을 할지 예측하는 전문가가 되는 건 아니야.**
이건 컴퓨터 과학자들을 까려는 게 아니야. 지적인 시야가 좁아진 걸 지적하는 거지.
전문가들은 완전히 낯선 현상을 마주할 때, 가끔 자기 분야의 가정을 보편적인 진리로 착각하곤 하거든.
충분히 발달한 지능은 우리가 아직 발견하지도 못한 원리에 따라 움직일지도 몰라.
