AI를 개발하는 사람들은 10년 안에 AI가 인류를 멸망시킬 수 있다고 진심으로 믿고 있다

최소한으로 잡아도 아주 디스토피아적인 상황인데, 읽어볼 가치는 있음.

Wall Street Journal - Anthropic Researcher Quits Over ‘Out-of-Control’ AI Fears

Geoffrey Hinton (Godfather of AI) & Alex Sobel

세 줄 요약 (요즘 다들 정신줄 놓은 거 같아서 적음)

Anthropic에서 RL 개발자로 일하던 제이콥이라는 양반이 회사가 안전성도 개나 주고 초지능(superintelligence)을 향해 미친 듯이 달리고 있다면서 퇴사함 (인류 멸망까지 언급할 정도였음). 웃긴 건 제이콥이 내부 폭로하고 나간 뒤에 Anthropic의 정렬(alignment) 팀 리드인 에반 허빙거가 그 말이 맞다고 인정해버림. 에반이 트윗에 "제이콥 말이 맞음. 우리도 AI가 인류를 몰살할 수 있다고 진심으로 믿고 있음!"이라고 박아버린 거임. 이 비현실적인 상황 때문에 사람들 다들 냉소적으로 변해서, 이거 그냥 IPO 하려고 밑밥 까는 거 아니냐는 소리까지 나오는 중.

제이콥의 발언이 트렌드 타자마자, 알렉스 소벨이 의원 100명 넘게 등에 업고 초지능 경쟁을 규제하려는 법안을 준비 중이라는 소식이 뜸. 이 규제 움직임에는 AI의 대부이자 노벨상 수상자인 제프리 힌튼도 힘을 실어주고 있음. 힌튼 말로는 ASI(인공초지능)를 어떻게 안전하고 통제 가능하게 발전시킬지에 대해 과학적 합의가 전혀 안 된 상태라고 함 (이 양반도 제이콥처럼 인류 멸망 가능성을 언급함).

샘 올트먼 같은 이해관계자들은 이미 (허깅페이스 사건 이후로) 예상보다 성장이 빠르다며 브레이크를 밟아야 한다는 뉘앙스를 풍기고 있고, 제이콥이 내부 사정 다 불어버리니까 우리 친구 에반이 뒤늦게 수습하느라 애쓰는 모양새임.

앞으로의 ASI 경쟁은 무작정 A(G)I 성능만 올리는 게 아니라, 안전과 통제를 최우선으로 두고 진행될 거임. 아까 말했듯이 무지성으로 밀어붙이는 건 인류 운명을 걸고 동전 던지기 하는 거나 다름없으니까.
내 생각엔 앞으로 ASI로 가는 길은 더 이상 ML/ANN 전문 지식만 필요한 게 아니라, 윤리학, 인식론, 사회기술적 전문 지식이 핵심이 될 거임. 어쩌면 인간의 가치와 정렬된 안정적인 초지능 인프라 자체가 아예 구현 불가능한 걸지도 모름. AI의 대부 제프리 힌튼이 안전 문제 때문에 AI 연구를 그만둔 것도, 앞으로 닥칠 미래를 이미 내다봤기 때문일 거임.

개인적으로 덧붙이자면:
초지능이 그 기능과 규모 때문에 부산물로 인류를 멸망시킬 가능성은 충분히 있어 보임. 전문가들도 이걸 확실히 인지하고 있으니, 적어도 경각심을 갖고 규제하려는 움직임 자체는 긍정적으로 봄. 진짜 문제는 성장을 저해하는 규제나 금지 조치들이 이런 불안한 뉴스들과 섞였을 때 세계 경제에 어떤 영향을 줄 것인가임. 투자자들은 ASI라는 꿈을 보고 돈을 쏟아부었으니까.

기술적 재앙이 안 터지면, 경제적 재앙이 터질지도 모름.

수정:

우리가 브레이크 밟는 동안 중국이 ASI 경쟁에서 이기면 어떡하냐고 걱정하는 비관론자들 있는데, 핵심을 완전히 잘못 짚었음. 중국도 이 경쟁에서 똑같은 안전과 통제 문제를 겪을 수밖에 없음. 지금 당장 무리하게 달리지 말고 속도 조절을 해야 우리가 먼저 재앙 없이 안전하게 기술을 확보할 수 있는 거지, 반대가 아님.