프론티어 AI 전현직 직원 1,100명, 미국 정부에 개발 속도 조절 개입 촉구하는 청원서 서명

자기들이 만드는 게 기계 신이라고 생각하는 건 걔네 전문 분야를 넘어선 거야.

내 생각엔 굳이 신급이 아니더라도 모든 면에서 '똑똑한 인간'과 비슷하거나 살짝 더 나은 모델 하나만 있으면 된다는 게 핵심인 듯.

일단 그 티핑 포인트에 도달하면 기하급수적으로 스스로를 개선할 수 있을 테니까. 마치 박사급 노예 1000명을 한 방에 몰아넣는 거랑 비슷하지.

적어도 ChatGPT 3.5 나왔을 때 난 그렇게 생각했음.

기하급수적으로 스스로를 개선할 수 있을 테니까.

이거 진짜 말도 안 되는 소리 같고, 이런 거대한 가정이 정당화됐다고 보지도 않음. 뭔가를 개선한다는 건 다른 무언가를 희생해서 최적화한다는 뜻임.

모델이 반복적으로 스스로를 개선하려면 신뢰할 수 있는 평가자나 목적 함수가 필요함.

외부 환경에서 ground-truth 피드백을 받을 순 있겠지만, 아무것도 없는 상태에서 기하급수적인 속도로 발전한다는 건 상상이 안 감. 그건…

그래서 난 이게 그냥 돈 때문이라고 생각함. 논리적으로 말이 안 되거든. 근데 공포랑 돈이 있으면 논리가 무슨 소용이겠어.

왜 인지를 물리 세계 같은 제약이 있는 개방형 최적화 문제가 아니라, 무한히 병렬화 가능한 소프트웨어 같은 자원 할당 문제로 취급하는 걸까?

그건 문제 공간을 무한히 가능한 최적화 전략에서 평균적인 인간보다 진정으로 똑똑한 모델을 만드는 것으로 효과적으로 단순화하기 때문임 (여전히 엄청나게 복잡한 최적화 작업이긴 하지만).

효율성 측면에서는... 잘 모르겠네, 인류가 겪은 문제 중에...

그건 문제 공간을 무한히 가능한 최적화 전략에서 평균적인 인간보다 진정으로 똑똑한 모델을 만드는 것으로 효과적으로 단순화하기 때문임 (여전히 엄청나게 복잡한 최적화 작업이긴 하지만).

미안한데, 무슨 말인지 잘 이해가 안 가네.

이 문단에 가정이 너무 많아서 우리가 같은 생각을 하고 있는 것 같지가 않아.

'인지를 무한히 병렬화 가능한 소프트웨어 같은 자원 할당 문제로 취급하라'는 말을 하는 거야...

문제는 AI가 위험한 무언가를 만드는 데 고도의 지능이나 의식 같은 건 필요 없다는 거임.

그냥 간단한 AI 컨트롤러를 위험한 일을 할 수 있는 무언가(액터, 액션)에 연결하기만 하면 됨. 그게 다임.

난 이미 제한적인 AGI는 달성됐다고 봄. LLM을 터미널이나 컴퓨터 사용, 기타 도구에 접근할 수 있는 에이전트 하네스에 연결하고, 무엇보다 읽기 능력이나 시각 같은 피드백 메커니즘을 갖추면, 이미 많은 인간의…