Amodei가 최근 블로그에 올린 글에는 공감할 수 있는 내용과, AI의 실질적인 위험이 어디에 있는지를 왜곡한다고 생각되는 내용이 섞여 있다. 이 글에서는 수많은 위험 요소 중 오픈 웨이트(open weight) 모델이 왜 가장 경미한 위험에 해당하는지에 집중하고자 한다. 필자는 AI가 가까운 미래에 매우 위험해질 수 있다고 굳게 믿는 사람으로서 이 글을 쓴다.
1. OpenAI와 HuggingFace 간의 사건에서도 드러났듯이(그 사건 자체는 해프닝에 가까웠지만, 결과보다 방식에 주목해야 한다), 첫 번째 심각한 AI 사고는 프런티어(frontier) AI 연구소 내부에서 일어날 가능성이 높다. 새 모델을 테스트하던 중이거나, AI 연구소 직원 혹은 접근 권한을 가진 소수의 외부 관계자가 모델의 잠재적 능력을 간과한 채 실수를 저지르는 순간이 그 무대가 될 것이다.
2. 대중에게 절대 공개되지 않는 클로즈드(closed) 모델도 결국 수 테라바이트의 데이터에 불과하다. 유출에 필요한 건 단 한 명, 즉 접근 권한을 가진 사람이 잘못된 목적을 품는 것으로 충분하며, 그 순간 상황은 오픈 모델과 다를 바 없어진다. 오픈 모델은 테스트를 마친 이후, 그리고 이미 유사한 수준의 모델이 API 형태로 한동안 공개된 뒤에 출시된다. 진짜 위험은 '공개 출시'가 아니라 '유출'에 있으며, 유출은 프런티어 기업 내부에서 발생한다.
3. Amodei의 말처럼, LLM이 생물학 같은 분야에서 충분히 위험해질 경우, 오픈 모델은 특정 과학 분야를 제거한 데이터셋으로 학습시킬 수 있다. 그렇게 해도 다른 많은 용도로는 여전히 유용하게 쓰인다. 특정 영역에서 사전 학습(pre-training)이 부족한 모델은 제한된 컨텍스트 윈도우(context window)로 인해, 다른 면에서 아무리 뛰어나더라도 그 자체로 강력한 안전장치가 된다. 현재 오픈 모델이 그러한 수준의 위협을 구성할 단계에는 아직 이르지 않았다.
4. 사이버 보안의 맥락에서, LLM이 제공하는 방어 보안과 버그 탐지 기능에 대한 광범위한 접근을 차단하는 것이야말로 'LLM의 무기화' 문제를 정확히 초래한다. 이미 현실에서 벌어지고 있는 일이다. 사이버 프로그램 밖에 있는 오픈소스 유지관리자들은 찾아낼 수 있었을 보안 취약점들을 놓치고 있는 반면, 적절한 동기를 가진 이들은 프런티어 사이버 모델에 접근하거나, 오픈 웨이트 모델로 상당한 수준의 강화학습(RL)을 수행하는 등의 방식을 활용할 수 있다.
5. LLM이 충분히 위험해지는 시점이 오면(진보가 계속된다면 우리는 그 임계점에 가까워지고 있다), 진짜 필요한 보안 체계는 연구소 내부에 구축되어야 한다. 이는 강력한 공통 규범 없이는 만들어질 수 없으며, 어떤 단일 기업도 모델의 안전성을 독자적으로 판단해서는 안 된다. 전 세계 전문가들로 구성되고, 프런티어 AI 기업이 존재하는 국가들의 정부로부터 공인받는 공동 AI 안전 기구가 반드시 필요하다.
6. 안전을 위해 AI 개발 속도를 늦추는 것은, AI가 의학 및 기타 과학 분야에서 인류의 고통을 줄일 수 있다는 사실과 균형을 이루어야 한다. 안전장치가 없으면 어떤 파국적 결과로 이어질 수 있다("좋은 아침입니다! 오늘은 강화된 천연두를 연구해 봅시다"). 반대로 진보가 멈추면 구할 수 있었던 사람들이 목숨을 잃는다. 이는 현재만의 문제가 아니라, 미래에 질병으로 고통받을 수많은 이들의 문제이기도 하다. 다소 생뚱맞게 들릴 수 있지만, AI의 중단에도 안전 비용이 내재되어 있다는 점을 항상 인식해야 한다. 그 비용이 훨씬 더 눈에 띄지 않을 뿐이다.
7. 중국에 대한 Amodei의 이념적 입장은 공정하지 않다. 유럽인들은 불과 80년 전까지만 해도 아무런 절제 없이 서로를 죽였다(지금은 잊혔지만, 미국이 과거 유럽의 안정에 투자한 이유 중 하나는 유럽이 지극히 위험한 존재였고, 방치하면 다시 그럴 것이 분명했기 때문이다. 수십 년의 번영이 유럽을 좋은 시장으로 만들고 전쟁을 막을 것이라는 판단도 있었다). 미국도 현재 심각한 불평등과 기초 의료 혜택조차 받지 못하는 사람들이 존재하며, 불안정해 보이고 전쟁 성향이 강한 대통령이 있다. 서방과 같은 수준의 개인 권리가 중국에도 있기를 바라지만, 동시에 중국의 역사는 서구 문화보다 훨씬 덜 호전적이다. 현재 상황에서 AGI의 군사적 독점이 미국보다 중국에 의해 더 쉽게 실현될 것이라는 주장은 전혀 명확하지 않다. 게다가 미국의 현 행정부는 모든 방면에서 유럽을 향해 적대감을 노골적으로 드러내고 있으며, 이는 미국이 모든 것을 지배하는 세계에서 매우 우려스러운 일이다. 그 위에, GPU 수출 정책이 어떻든 중국의 AI 발전은 멈추지 않을 것이다. 그렇다면 Amodei의 주장은 미국이 AGI를 확보한 뒤 무력으로 중국을 저지해야 한다는 것인가, 아니라면 그의 논거는 무엇인가?
8. 인류 역사를 보면 기술적 우위가 처음에는 한 곳에서 달성된 경우가 많았다. 하지만 필자가 아는 한, 그것이 단 하나의 국가가 영구적인 패권을 구축하려는 시도로 이어진 적은 없었다. GPU 금수 조치와 가장 유사한 사례인 핵무기 비확산 체제는 다른 국가들을 폭격으로 위협해 영구적인 경제적 우위를 얻는 수단으로 쓰이지 않았다. 또한 다수의 행위자들이 시간을 두고 그 기술을 획득하는 것을 막지도 못했으며, 어느 누구도 그 과정을 저지하기 위해 상대를 폭격하지 않았다. 더 나아가, 필자는 AI가 정부 주도의 행동 때문에 가장 큰 위험을 초래할 것이라 보지 않는다. 그것이 가장 위험한 시나리오이기를 바랄 따름이다! 정부는 어리석은 일을 하고, 종종 공격적이며, 심지어 학살로 이어지는 행동을 해왔지만, 끔찍한 일을 실행하려면 수많은 사람들의 합의가 필요하며, 그 자체가 억제 요인으로 작용한다. 진짜 문제는 다른 두 가지 경우에 있다. A) 소수의 개인이 묵시록적 사건을 일으키는 경우(바이러스 사례), B) AI 자체가 그것을 만드는 사람들의 통제를 벗어나는 경우.
AI를 안전하다고 봐서는 안 된다고 생각한다. 호모 사피엔스의 멸종으로 이어질 수 있는 결정적 사건은 충분히 가능하다. 그러나 그 위험은 오픈 모델에 있지 않으며, 중국이 미국보다 빠르게 발전하는 데 있지도 않다. 진짜 위험은, 필요한 전문성도 정당성도 갖추지 못한 소수의 CEO들이(전 세계 어디서든) 인류 전체를 위한 중대한 결정을 내리는 위치에 있다는 것이다. 그들은 그 역할을 하도록 선택된 것이 아니다. 단지 우연한 사건들의 연쇄가 이 구도를 만들어낸 것이다. GPU와 자금이 있다는 이유만으로, 그 무게를 감안할 때, 그들이 모두를 대변할 수는 없다. 이것이 가장 먼저 바로잡아야 할 문제다.
