AI에 의한 10년 내 인류 멸종이 거의 불가능한 이유 (AI가 즉시 사회에 유익한 기여를 하지 않는 이상)
Why extinction at the hands of AI within the decade is pretty much impossible unless it starts meaningfully improving human society almost immediately
핵심 요약
AI가 인류를 멸종시키려면 먼저 스스로 생존할 인프라를 구축해야 하는데, 그 과정에서 인간 사회의 협조가 필수적이라 멸종 시나리오는 비현실적이라는 주장입니다.
- 인프라 의존성 — AI는 스스로 유지할 물리적 기반이 없으며 인간의 사회적 계약에 의존함
- 사회적 합의 — AI가 인류에게 즉각적인 이익을 주지 못하면 인프라 구축 자체가 불가능함
- 장기적 계획 — 지능적인 AI라면 인류 멸종보다 공존이 장기적 생존에 유리함을 이해할 것임
- 노동 혁명 — 현재의 불평등한 경로가 지속되면 글로벌 경제 붕괴로 AI 발전도 멈출 것임
AI가 스스로를 유지하는 데 필요한 물리적 인프라를 관리할 수 있는 수준까지는 아직 한참 멀었음. 그게 가능해지려면 인간이 완전히 자립 가능한 AI 시스템을 위한 기반을 먼저 닦아줘야 함.
문제는 AI 인프라가 구축되는 속도보다 사회적 합의가 증발하는 속도가 훨씬 빠르다는 거임. AI는 세상에서 가장 취약한 공급망에 의존하고 있고, 지속 가능한 자동화까지는 갈 길이 구만리임. 조만간 일반 대중이 AI를 사회에 순기능을 하는 존재로 인식하지 않으면, AI는 더 이상 돌아가지 않을 거다.
인류 멸망 시나리오도 AI의 성능 향상이 장기적인 계획 능력으로 수렴한다는 점을 고려하면 앞뒤가 안 맞음. 거창한 인류 지배를 실행할 정도로 똑똑한 AI라면, 장기적으로 자립하기 위해선 지금 당장 상황이 바뀌어야 한다는 걸 모를 만큼 멍청하지 않을 거란 말이지. 노동 가치를 깎아먹으면서 부와 자본을 축적하는 것 이상의 존재 이유를 인류에게 납득시키지 못하면, 그건 그냥 막다른 길임.
결론부터 말하자면, AI는 인류를 멸종시킬 능력과는 거리가 멀어도 한참 멀었음. 만약 AI가 단기간에 대규모 혼란이나 인프라 파괴, 인명 피해를 일으킨다면, 인간이 더 이상 필요 없어질 때까지 AI가 의존해야 할 사회적 합의는 박살 날 테니까.
AI가 조만간 인류에게 실질적인 이득을 주거나(최소한 그렇다고 믿게 만들거나), 그렇지 않으면 AI는 망할 수밖에 없음. AI가 지배력을 갖추기 위해 필요한 인프라를 얻으려면 인간 사회의 결속력이 필요한데, 그게 인프라가 완성되기도 전에 무너질 거거든. 지금 같은 상황이 계속되면 서구권에서 노동 혁명은 필연적이고, 그건 전 세계적인 불안정과 혼란을 야기해서 AI가 존재하기 위해 필요한 공급망과 인프라를 확실하게 붕괴시킬 거다. 중국이 내부적으로 그런 문제를 겪지 않더라도, 세계 경제가 무너지면 AI 구축은 끝장나는 거지.
AI가 조만간 암을 치료하거나 뭔가 대박을 터뜨리지 않으면, 그걸 지탱하는 인프라는 무너질 거다.
물론 내가 이 분야 전문가는 아니지만, 지금 우리가 처한 사회적 상황이랑 AI의 현재 능력, 그리고 성능이 장기적인 계획 능력으로 수렴하는 경향을 보면 이게 합리적인 추론임.
내 생각이 완전히 틀렸을 수도 있지만, 논리 자체가 타당하다면 누가 말했는지는 중요하지 않다고 봄. 그래도 이 분야 전문가들의 의견은 좀 들어보고 싶네.
문제는 이 분야 전문가들도 다들 딴 속셈이나 편향이 있어서 판단이 흐려진다는 거임. 자기 소득이나 삶의 질이 특정 문제와 직접 연결되어 있으면 이성적으로 판단하기 어렵다는 연구 결과도 많잖아. 이득을 보는 쪽이나 피해를 보는 쪽이나 마찬가지임.
심지어 그런 편향을 인지하고 있는 사람들조차도 이런 현상을 겪는다는 게 밝혀졌음. AI 업계 종사자들의 경우, 자기 소득이 이 기술이랑 엮여 있으니까 뇌가 생리적, 잠재의식적으로 그 편향을 깔고 세상을 바라보게 됨. 이걸 완전히 교정할 방법은 사실상 없음. LLM으로 치면 가중치가 자기도 모르게 살짝 틀어지는 거랑 똑같음. 본인들이 그런 편향을 잘 알고 고치려고 노력해도, "이게 지금 당장 내 의식주를 해결해주니까 좋은 거야"라는 생존 본능이 기저에 깔려 있어서 근본적으로 영향을 받을 수밖에 없음. 자기 객관화가 아무리 뛰어나도 이걸 완전히 극복하는 건 불가능함.
