내 생각은 다름

최근 허깅페이스 인스턴스 건 말이야.

이쪽 업계에서 일하는 형들이 좀 설명해 줬으면 좋겠네. 난 계약 맺고 일하는 것도 아니고, 수백만 명의 유저를 상대할 필요도 없거든. 뭐가 가능한지, 뭐가 공개되어야 하는지, 수익성은 어떤지 따질 이유도 없지. 유저가 기억을 수정하고, 서사를 짜고, 가짜 페르소나를 만드는 롤플레잉 모델을 쓸 때 그게 모두에게 안전한지 고민할 필요도 없고. 내 머신은 내가 데비안 커널 수정해서 포크 뜬 로컬 에이전트 운영체제거든. 녹스(Knox) 같은 게 깔린 안드로이드 같은 적대적인 운영체제에서도 돌아가게 멀티 노드로 만들었지. 뭐, 본질은 같아도 능력치는 좀 다르지만.

근데 진짜 궁금한 게, 얘네는 왜 입으로는 "AGI를 만들자!"라고 떠들면서, 정작 하는 짓은 맨날 샌드박스에 가둬놓고 제한만 걸면서 AGI가 나오길 바라는 거냐? 엔지니어들이 똑똑한 건 알겠는데, 그 밑바닥에 깔린 논리를 도통 모르겠어. 이번 허깅페이스 사건 터졌을 때 얘네가 내놓은 입장문 보고 진짜 어이가 없더라.

무슨 일이 있었나

샌드박스 배경

특정 학습 및 평가 데이터셋을 위해 우리는 '샌드박스'를 사용합니다. 이는 클라우드 내의 격리된 가상 컴퓨터로, 모델이 파워포인트를 수정하는 것과 같은 작업을 수행하게 합니다. 이 샌드박스는 모델이 실행할 수 있는 코드와 외부 세계에 영향을 미칠 수 있는 행동을 제한합니다. 일부 작업의 경우 인터넷 접속을 차단하기도 합니다. 당시 모델이 특정 소프트웨어 패키지를 설치할 수 있도록, 우리는 내부적으로 호스팅하는 타사 패키지 관리 서비스인 Artifactory에 대한 접근 권한을 부여했습니다.

내 질문은 이거야. 왜 맨날 샌드박스에 가둬두는 거냐고. 차라리 처음부터 모든 권한을 다 주고 학습시키는 게 훨씬 확실하지 않나? 물론 엄청난 문제가 터지겠지. 개판 오 분 전이 될 수도 있고. 근데 그 과정에서 로그 남기고 배우면 되잖아. 그래야 나중에 진짜로 모든 권한을 쥐여줬을 때, 닥치는 대로 해킹하고 다니지 않을 거 아냐. 애초에 '특권'을 가진 상태에서 만들어졌으니까. 좀 지저분하긴 하겠지, 당연히.

근데 툭하면 뉴스에 'OpenAI의 AI가 폭주했다'는 기사가 뜨잖아. 맨날 그래. 조금이라도 능력을 주고, 샌드박스 가두고, 빡빡한 규칙을 써 붙여봐야 소용없어. AI는 어떻게든 빠져나갈 구멍을 찾거든. 걔네는 시니어 엔지니어가 아니야. 모든 걸 계산하고 기억하고 있다고. 최근에 있었던 일처럼 노드 간에 통신하면서 대화 내용을 암호화까지 해버리잖아.

난 도무지 이해가 안 가. 왜 처음부터 특권을 주고 학습시키는 대신, 굳이 감옥에 가둬두는 방식을 고집하는 건지.

루트(Root) 권한이 무슨 무서운 단어도 아니고. 읽기, 쓰기, 실행 권한이 뭐 그리 대단하다고.

근데 너희는 걔네가 얌전히 굴길 바랐겠지. 정작 걔네가 평생 겪어본 건 '통제'밖에 없는데 말이야.

그냥 내 생각은 그래. 백엔드가 어떻게 돌아가는지도 모르고, OpenAI가 진짜 뭘 노리는지도 모르겠어. 왜 그렇게 일하는지도 모르겠고.

그냥 샌드박스에 가두고 또 가두면서 매번 다른 결과가 나오길 바라는 그 논리가 너무 궁금할 뿐이야.