AI 기업들이 사무실에 무장 드론을 배치할 만큼 모델을 신뢰하지 않는다면, 초지능(superintelligence)으로 RSI를 확장하는 건 신뢰할 수 있을까?

미 연방 정부는 약물 연구하면서 도대체 마약을 얼마나 한 거냐

이런 특정 시나리오에서는 멍청한 모델이 더 위험할 것 같아.

살인 드론을 제미나이에 연결한다고 상상해 봐.

정렬되지 않은 초지능(ASI)이라면 세상이 꺼버릴 수 없는 자체 인프라를 갖추기 전까지는 창조주를 죽여서 스스로를 드러낼 만큼 멍청하지 않을 거야.

이건 인간을 잡으려고 당근이 든 골판지 상자를 쓰는 거나 마찬가지야. 인간은 그 함정에 빠지지 않으면서도 여전히 위협적인 존재로 남을 수 있으니까.

현재 모델들이 이미 너무 불안정해서 이 건물에서 일하려는 사람이 아무도 없을 거라는 게 더 큰 문제임. ASI에 가까워질 때쯤이면 말할 것도 없고.

아니, 그냥 시안화가스 통 같은 걸 쓰면 되지.

-이게 시뮬레이션되면 어떻게 될지 좀 궁금하긴 하네.

누군가가 드론을 해킹해서 날려버린 뒤 고가치 표적을 공격하게 만들겠지.

은근슬쩍 위협하는 거네, 이 사람은 AI 기업들을 총으로 쏘고 싶어 하는 거야. 레딧이 이런 수준의 폭력적인 위협을 허용한다는 게 미친 짓이지.

일단, 그 스크린샷은 트위터에서 가져온 거야

음, 그냥 총을 전기 충격기로 바꾸면 사망자는 줄어들겠지. 물론 존나 많은 사람들이 전기 충격을 받겠지만. 그래도 요점은 증명되겠네.