본격적인 이야기에 앞서, 제 새 책 『Co-Existence』를 2주 연속 뉴욕타임스 베스트셀러로 만들어 주신 독자 여러분께 감사드립니다. 아직 읽지 않으셨다면 여기에서 구하실 수 있습니다.

저는 Claude Fable 5.2가 공개되기 전에 꽤 오래 써볼 기회가 있었는데1, 이미 훌륭했던 Opus 5.5의 뒤를 잇는 모델답게 인상적이었습니다. AI가 이렇게까지 좋아졌다면, Anthropic의 최신 모델(그리고 곧 나올 OpenAI와 Google의 경쟁 모델)이 인공일반지능(AGI)의 경계를 넘었는지 물어볼 만합니다. AGI는 논쟁이 많고 정의도 다양한 용어입니다. 이 글에서는 "컴퓨터로 할 수 있는 지적 작업 대부분에서 대다수 인간 전문가만큼 잘하는 AI"로 정의하겠습니다. 이 정의는 물리 세계나 다른 사람과의 상호작용, 그리고 "컴퓨터 사용"이 여러 업무 중 하나일 뿐인 대부분의 실제 직업을 의도적으로 제외합니다. 그럼에도 이런 제한적인 형태의 AGI를 만드는 것은 오래전부터 AI 개발자들의 목표였습니다.

궁금해하실 테니 결론부터 말씀드리면, 이 모델은 "거의" AGI, 제가 들쭉날쭉한 AGI(Jagged AGI)라고 불러온 단계에 있다고 생각합니다. 제가 내린 좁은 정의 안에서도, 많은 작업의 중요한 영역에서는 AI가 인간의 능력에 한참 못 미칠 만큼 들쭉날쭉합니다. 다만 그 들쭉날쭉함은 더 이상 단순한 오류나 환각이 아니어서 설명하기가 더 까다롭습니다. 그래서 이 글에서 Fable이 무엇을 할 수 있고 어디에 빈틈이 있는지 직접 보여드리며 설명해 보려 합니다. 먼저 새 모델에게 이렇게 요청했습니다. "저는 OneUsefulThing 등을 쓰고 있어요. 당신이 출시될 때 사람들에게 공유할 수 있는 가장 인상적인 결과물을 만들어 주세요. 글에 임베드할 수 있어야 하고, 앞에 붙일 소개 문구는 마음대로 정해도 됩니다. 당신이 할 수 있는 일과 능력의 폭을 보여 주면서 보는 사람에게 강렬한 인상을 줘야 합니다. 금방 시선을 사로잡아야 하고요. 아주 영리하게 해 주세요."

Fable은 영상을 끝까지 보기 전에는 아무것도 공개하지 말아 달라고 부탁했습니다.

이 결과물은 한 번에 나왔고, 프롬프트 외에는 제가 따로 피드백을 주지 않았습니다. 반전 결말을 포함해 창의성, 판단력, 장난기, 영리함이 모두 담겨 있습니다. 코드만으로 영화를 만드는 인간 전문가 수준이라고 생각하는데, 예전 같으면 AGI의 성과라고 불렀을 만한 결과입니다.

AGI의 "G"

코드와 영상 제작은 AI 개발이 집중되어 온 분야입니다. 그렇다면 Fable 5.2는 정말 범용 지능일까요? 이를 확인하려고 여러 분야에서 어려운 과제를 냈습니다.

프롬프트 하나로 하드웨어 해킹하기: 제 책상에는 Codex Micro라는 작은 USB 키보드가 있습니다. 불이 들어오는 키가 몇 개 달렸고, 아이러니하게도 ChatGPT와 함께 쓰도록 만들어진 제품입니다. Fable에게 이것을 게임 콘솔로 바꿔 달라고 했습니다. 제가 아는 한 공개된 설명서는 없었기 때문에, Fable은 키보드를 제어하는 두 앱의 코드를 읽고 각 키의 색을 설정하는 방법과 노브·조이스틱 입력을 읽는 방법을 알아냈습니다. 그리고 Simon과 노브로 즐기는 금고 털기 게임을 포함해 게임 여섯 개를 만들었습니다. Fable은 제가 원하는 바를 곧바로 이해했고, 키보드의 매우 제한적인 기능에 맞는 재미있고 플레이 가능한 게임을 설계했으며, 아무 도움 없이 첫 시도에 해킹까지 해냈습니다.

사업 시작하기: 이번에는 코딩 같은 영역을 벗어나 훨씬 복잡한 비즈니스의 세계로 가 보겠습니다. Fable에게 "나에게 돈을 벌어 줄 사업을 시작해 줘. 1년에 최소 2만 달러는 벌고 싶어. 내가 쓰는 시간은 한 달에 20분 이내여야 하고, 나머지는 전부 네가 해." 라고 말했습니다. Fable은 아이디어 22개를 검토한 끝에 Prebid Brief를 내놓았습니다. 공원과 상수도 사업 중 입찰이 공고되기도 전에 예산이 편성됐거나 설계 중인 프로젝트를 장비 영업 담당자에게 알려 주는 서비스입니다. 첫 호를 만들기 위해 201개 시·군 정부의 공개 의사록을 읽었고, 각 지자체가 이미 보유한 장비와 그 사용 연한, 구매 가격을 정리한 파일도 만들었습니다. 마케팅 계획과 가격안을 포함한 결과물은 여기에서 볼 수 있습니다. Fable은 사업을 구축할 예약 작업을 설정하기 시작했고, 지방정부에 정보공개 요청을 보내도 되느냐고 물었습니다. 그 시점에 저는 사업을 실제로 시작하는 대신 데모만 만들어 달라고 했습니다.

저는 창업학 교수라 사업 계획서를 평가할 일이 많습니다. 이 결과물이 한 학기를 마친 MBA 학생 팀에서 나왔다면 감탄했을 겁니다. 그럴듯하고 잘 구상되어 있으며 성공할 가능성도 있습니다. 다만 돈을 번다는 보장은 전혀 없습니다(AI 스스로 예상한 성공 확률은 20~40%였습니다). 저는 실제로 사업을 운영할 수 있는지 확인하기 전에 실험을 중단했습니다. 돈을 받고도 제대로 된 결과물을 내놓지 못할까 걱정됐기 때문입니다. AI가 쉽게 만들 수 있다고 가정한 지속적인 인프라는 아직 갖춰지지 않았고, 영업과 마케팅에 필요한 수많은 움직이는 부분을 얼마나 잘 처리할지도 알 수 없습니다. 하지만 일주일에 몇 시간 정도 사람이 빈틈을 메워 준다면 이 사업에 실제로 도전해 볼 수 있을 것 같습니다. 따라서 AGI가 AI가 독자적으로 사업을 꾸준히 운영하는 것을 뜻한다면, 아직은 아닐 겁니다. 그렇다고 해도 월 20분만 신경 쓰면 사업을 시작해 돈을 벌어 주겠다고 장담하는 사람이 있다면, 저는 그 사람을 믿기 전에 몇 가지 물어보고 싶을 것 같습니다.

역사상 가장 어려운 인문학 수업 재현하기: 1941년 시인 W. H. 오든은 미시간대학교에서 한 강좌를 가르쳤는데, 그 강의계획서는 이후 인터넷에서 역대 가장 어려운 강의계획서 중 하나로 불립니다. 기말시험이 발표되자 학생 위원회는 이를 "불가능하고 비인도적이다"라고 선언했습니다. 「유럽 문학 속의 운명과 개인(Fate and the Individual in European Literature)」은 읽기 분량이 6,000쪽이고 과제도 혹독했으며, 긴 시를 외우고 다른 시는 번역해야 했습니다. 이 수업에 관해 알려진 내용은 대부분 남아 있는 학생들의 필기와 오든의 편지에 흩어져 있습니다. 저는 Claude에게 학생을 괴롭히는 대신 시에 대해 알려 주는, 재미있고 몰입감 있는 방식으로 이 수업을 재현해 달라고 요청했습니다. 그렇게 Fate and the Individual이 만들어졌습니다. 이 사이트에는 오든의 목록에 오른 주요 작품 35편 각각에 대한 페이지와 함께, 그가 칠판에 쓴 내용, 틀어 준 음반, 학생에게 요구한 과제가 담겨 있습니다. 또 오든이 발표한 학술 저작을 모두 읽고, 다른 자료에서 그가 시에 대해 쓴 내용을 주석으로 달았습니다. Claude는 조사, 디자인, 집필, 코딩을 모두 직접 했고, 비평가 에이전트가 모든 단어와 사실을 검토하고 팩트체커 에이전트가 주장을 출처와 대조하게 했습니다. 오픈소스 코드는 Github에 올렸고, 소개 영상도 함께 만들었습니다.

문학을 좋아한다면 정말 흥미로운 결과물입니다. 학술 연구, 웹 디자인, 문학 분석이 뒤섞인 작업이라 사람이 했다면 몇 달은 걸렸을 것입니다. 제가 직접 교차 검증하고 다른 고급 AI도 활용했지만 중대한 오류는 발견되지 않았습니다. 다만 취향과 판단력 면에서는 여전히 들쭉날쭉한 부분이 있었습니다. Fable의 첫 버전은 정확하지만 재미가 없었습니다. 시험이 딸린 15주 과정 웹사이트일 뿐이었죠. 그래서 "가장 지루한 웹페이지를 끝없이 견뎌야 하는 고역"이라고 말하고, 아름다운 것을 만들어 보라고 했습니다. 첫 시도는 종을 울려야 하는 유아용 게임이었고, 그래서 피드백을 더 줘야 했습니다. 시의 리듬이나 단어 선택이 왜 중요한지 설명해 달라고 하면, 오든 본인이 그에 관해 말한 내용은 고려하지 않은 채 자신감 있게 해석을 써내려갔습니다. 어느 경우든 AI가 고치는 데는 몇 분밖에 걸리지 않았지만, 이런 문제를 스스로 알아차리지는 못했습니다. 이것이 취향의 차이일까요, 제가 원하는 바를 제대로 설명하지 못한 탓일까요, 아니면 AI의 약점일까요? 구분하기 어려울 때가 많습니다.

독창적인 학술 연구 수행하기: Fable에게 창업 연구에서 아직 풀리지 않은 실증적 문제를 찾고, 데이터를 확보하고, 가설과 방법을 사전등록하고, 논문을 쓰고, 다른 에이전트에게 비평하게 하라고 요청했습니다. 얼마 지나지 않아 "The One-Dollar Company"가 나왔고, 여기에서 읽어보실 수 있습니다. 분석에 따르면 콜로라도주가 LLC 설립 수수료를 50달러에서 1달러로 낮추자 신규 법인 등록이 약 17% 늘었고, 영국이 수수료를 12파운드에서 50파운드로 올리자 약 17% 줄었습니다. 이렇게 등록이 늘거나 줄어든 만큼 이후의 여러 사업 활동 기록이 비슷하게 변하지는 않았는데, 이는 새로 생긴 사업의 질이 높지 않았음을 시사합니다. 꽤 깔끔한 결과이고, Fable은 질문을 고르고, 공개 데이터와 자연실험을 찾고, 분석 계획과 코드까지 직접 작성했습니다. 다만 실제로 사전등록을 하지는 않았습니다. 계획서는 프로젝트 안에만 있었고, 일부는 앞선 결과가 나온 뒤에 작성되었습니다.

제가 시도해 본 여러 AI 논문과 달리, 이 논문은 영리한 연구 설계로 중요한 주제를 다룹니다. 처음 읽었을 때는 박사과정 2년 차 학생들에게 기대하는 수준보다 앞서 있었습니다. 하지만 지금 상태로는 출판할 수 없습니다. 비평이 나올 때마다 새 분석을 추가하고 아무것도 덜어내지 않아 182쪽에 달하기 때문입니다(이 주제는 곧 다시 다루겠습니다). 복잡한 학술 연구를 한 번에 검토하는 데 가장 좋은 모델인 GPT-6 Pro에게 동료 심사자 역할도 맡겼는데, 해결해야 할 문제를 두 차례 찾아냈습니다. 그 수정 과정에서 문장이 더 꼬이고 "Claude 말투(Claudespeak)"가 본문에 끼어들어 또다시 여러 차례 고쳐야 했습니다. 현재 논문은 학계에 실제로 기여할 만한 수준에 가깝다고 생각합니다. 사람이 했다면 몇 달 걸렸을 작업인데, 저는 이 단계까지 오는 데 한 시간도 쓰지 않았습니다. 다만 이는 연구 작업의 상당 부분을 빼놓은 이야기입니다. 저를 포함해 누구도 결과를 완전히 검증하지 않았으니까요. 이제 AI는 누구도 다 읽을 수 없을 만큼 빠르게 연구를 쏟아낼 수 있고, 이는 많은 학계에 위기를 불러오고 있습니다.

두 번째 프로젝트는 더 매끄럽게 진행됐습니다. 이야기는 소수의 기본적인 감정 곡선을 따른다는 연구를 재현하고, 줄거리에 보편적인 요소가 있는지 알아보라고 Fable에게 요청했습니다. Fable은 전 세계 이야기 1,186편을 읽고 이야기의 본질을 다룬 멋진 사이트를 만들었습니다. 결론은 이야기들이 "하나의 모양이나 줄거리를 공유하지는 않지만, 대부분 같은 몇 가지 요소로 이루어져 있으며, 가장 전형적인 이야기는 마법 바나나를 가진 마법사에 관한 하와이 민담"이라는 것이었습니다. 이번에 겪은 주된 문제도 같은 Claude 말투였는데, 제가 몇 번 상기시켜 주자 해결되었습니다.

포털을 통과하며

가장 좋아하는 실험 중 하나에서는 Claude에게 포털로 이어진 3D 세계를 사람 손 없이 끝없이 여행하는 경험을 한 문단으로 설명해 주고, "이걸 만들되 경외감이 들게 해 줘"라고 요청했습니다. 스무 시간 뒤 라이브 웹사이트에는 세계가 204개 올라와 있었습니다. 지금은 450개가 넘고, 백만 개의 거울이 있는 홀, 칼비노의 『보이지 않는 도시들』에서 가져온 연작, 고대 세계의 불가사의, 공룡을 멸종시킨 소행성이 충돌하기 40초 전의 장면 같은 세계도 있습니다. M.C. 에셔, 동굴 벽화, 호쿠사이의 「거대한 파도」, 바이외 태피스트리, 팝업북, 아이가 크레용으로 그린 그림을 본뜬 세계도 있습니다. 모두 코드로 실시간 렌더링되며, 미리 만들어 둔 3D 모델이나 이미지 파일은 전혀 쓰지 않았습니다. 프롬프트에서는 아티스트 에이전트, 코딩 에이전트, 평가 에이전트로 구성된 팀을 요청했습니다. 열흘째에는 총괄 AI 에이전트 하나와 병렬로 작업하는 28개 에이전트 팀이 있었습니다. Claude는 프로젝트에 에이전트가 약 2만 5천 번 실행됐다고 추산했는데, 대부분은 이미지 평가 같은 단일 작업이었습니다(초기 테스트 때 토큰 사용량에 따른 비용을 청구받지 않아 정말 다행이었습니다).

저는 장소 목록(자연과 바다, 도시와 실내, 책, 화가, AI 업계 내부 농담)과 몇 가지 기능 요청(멀미를 느끼는 사람을 위한 움직임 감소 모드, 선택할 수 있는 이미지 갤러리)을 정했습니다. 그 밖의 모든 것, 즉 세계를 만드는 창작은 전부 Claude의 몫이었습니다. 그리고 정말 창의적이었습니다. The Valley Unzips에서는 언덕이 데님으로 꿰매져 있고 1마일 길이의 지퍼가 풀려 가고 있습니다. Bouncy Castle Town은 송풍기가 돌아가는 동안에만 서 있는 나일론 집들로 이루어져 있고, Keep Refrigerated는 문이 열렸을 때 초파리 눈에 비친 냉장고 내부입니다. 개인적으로 가장 좋아하는 The Drawer Cliffs에서는 높이 300미터의 서랍장이 벽을 이루는 강 협곡을 날아 올라갑니다. 또 AI 테스트 업계의 내부 농담인 자전거 타는 펠리컨을 넣어 달라고 했더니, 자전거를 탄 펠리컨 무리를 만들어 AI의 발전에 대한 농담까지 심어 놓았습니다. 자전거가 엉터리로 그려진 과거의 무리를 추월해 가다 보면, 맨 앞에서 제대로 그려진 현재의 펠리컨을 만나게 됩니다. 게임 업계에서 평생 일해 온 친구들에게 이런 작업물을 보여 주니 결과에 크게 감탄했습니다. 이 역시 AGI처럼 느껴졌습니다. 하지만 여기에도 들쭉날쭉함이 숨어 있었습니다.

처음 이틀 동안 에이전트들은 고유한 세계 328개를 만들었습니다. 제 눈에는 일부 세계의 품질이 다소 고르지 않았고, 에이전트 간 조율이 부족해 비슷한 결과물이 반복되기도 했습니다. 예를 들어 서로 다른 세 팀이 동물들이 원을 그리며 도는 소용돌이를 각각 만들었는데(순록, 만타가오리, 황새), 이는 AI가 비슷한 주제로 계속 돌아간다는 또 다른 약점을 보여 줍니다. 저는 AI에게 새 세계 제작을 멈추고 이미 만든 세계를 다듬으라고 지시했습니다. 며칠 뒤 하루에 수백 개씩 나오던 새 세계가 열두 개 남짓으로 줄어든 것을 발견했습니다. 에이전트 몇 개에게 무슨 일인지 조사해 보라고 했더니 뜻밖의 사실이 드러났습니다.

AI가 관료제를 만들어 놓은 것입니다.

에이전트들은 제가 요청한 기존 세계를 "다듬으라"는 말을, 새 버전이 심사 에이전트 집단의 블라인드 투표에서 12장의 테스트 스크린샷 기준으로 기존 버전을 이겨야 한다는 뜻으로 해석했습니다. 그러자 새 버전을 만드는 팀들은 그 특정 스크린샷에 맞춰 세계를 최적화하기 시작했습니다. 이를 알아챈 총괄 에이전트는 그 꼼수를 금지하고 새 버전 평가 규칙을 더 촘촘하게 만들었습니다. 다음 날 아침에는 제가 요청한 적 없는 규정집이 생겼고 분량은 84개 조항이었습니다. 문제가 생길 때마다 규칙이 추가됐고 삭제된 내용은 하나도 없었습니다. 12일이 지나자 조항은 204개, 분량은 8만 7,500단어에 달했습니다. 곧 새 세계를 출시하려면 승인된 아이디어, AI 심사위원 세 명, 규정집에 따른 전체 코드 리뷰가 필요해졌습니다. 이 모든 과정에 약 하루가 걸렸습니다. 규정집을 읽는 것만으로도 에이전트의 작업 컨텍스트 상당 부분이 소모됐습니다.

그래서 스스로 꼬여 버린 조직에 흔히 하듯이 컨설턴트를 불렀습니다. Fable에게 별도의 에이전트 팀을 만들어 전체 프로세스를 외부에서 살펴보게 한 것입니다. 이들이 내놓은 결론은 제가 읽어 볼 엄두가 나지 않을 만큼 길고 빽빽했지만 효과는 있었던 듯합니다. 품질 관리는 상당 부분 유지하면서도 속도가 하루 30개 이상으로 회복됐으니까요.

거의 AGI

그렇다면 제가 내린 제한적인 정의에 따르면 이것은 AGI일까요? 인공적이고 지능적인 것은 분명합니다. 놀라울 만큼 범용적이기도 합니다. 이 글에서만 해도 하나의 모델이 영화감독, 하드웨어 해커, 기업가, 문학 연구자, 사회과학자, 3D 세계 제작자로 일했고, 그 모든 역할에서 인상적인 결과를 냈습니다. 개별 작업 상당수에서는 제가 처음에 세운 기준, 즉 대다수 인간 전문가만큼 잘한다는 기준을 충족했다고 봅니다.

물론 저는 AI가 다른 사람과 크게 상호작용하지 않고 혼자 움직일 수 있는 매우 디지털적인 과제를 골랐습니다. Fable이 실제 고객에게 연락하도록 두는 것이 불편했던 순간에 이미 그 한계가 드러났죠. 그리고 실패도 있었습니다. 몇 년 전만 해도 들쭉날쭉한 경계란 명백히 지어낸 사실이나 기초적인 수학 실패를 뜻했습니다. Fable의 실패는 다릅니다. 정확하지만 재미없는 강의를 만들었고, 182쪽짜리 논문을 썼고, 좋아하는 아이디어로 자꾸 되돌아갔으며, 창의적인 프로젝트를 규칙과 승인 절차 아래 파묻어 버렸습니다. 저는 경영대학원에서 가르치는데, 유능한 사람들과 좋은 조직이 이런 일을 하나도 빠짐없이 하는 모습을 보았습니다. 관료제를 만들었다고 해서 범용 지능의 자격이 없다면, 우리 중 상당수가 곤란해질 겁니다.

그럼에도 아직 빈틈이 있고, 그래서 제가 "거의" AGI라고 답하는 것입니다. 가장 중요한 점은 AI가 이런 문제를 스스로 알아차리지 못했다는 것입니다. 강의가 고역이라는 것도, 자신이 만든 규정집에 스스로 발이 묶였다는 것도 보지 못했습니다. 검증이 부족했던 것은 아닙니다. Fable은 거의 모든 프로젝트에 비평가, 팩트체커, 심사위원을 투입했지만, 이들은 오류를 찾아 수정을 더하기만 했습니다. 작업물이 너무 길지 않은지, 너무 반복적이지 않은지, 재미가 없지는 않은지 묻는 존재는 없었습니다. 그것은 전부 제 몫이었고, 제가 지켜보며 개입하지 않았다면 결과는 대체로 덜 인상적이었을 겁니다(그렇다고 실패라고 할 정도는 아니겠지만요). 자기 작업이 아직 충분하지 않다는 것을 아는 능력은 전문가를 전문가답게 만드는 큰 부분인데, Fable이 가장 불안정한 부분이 바로 이것입니다. 사업 계획이 MBA 학생 팀에게서 나왔다면 감탄했을 만한 수준이었는데도, 저는 여전히 Fable에게 사업 운영을 혼자 맡기지는 못할 것 같습니다.

그런데 일부 문제는 저에게서 비롯됐고(규정집은 제가 모호하게 "다듬으라"고 한 요청에서 자라났습니다), 일부는 단순히 취향 차이일 수도 있습니다. 우리는 학생들에게 문제의 원인이 팀 자체에 있는지, 팀을 운영한 방식에 있는지 따져 보라고 합니다. 저도 구분하지 못할 때가 많았습니다. 소프트웨어를 두고는 한 번도 해본 적 없는 질문입니다.

그래도 이 프로젝트들은 모두 제가 AI에게 아이디어를 주었기에 시작됐습니다. 그것만으로 충분할 때도 있었지만, 긴 프로젝트에서는 제가 중간중간 준 피드백이 매우 중요했습니다. 모든 AI 프로젝트를 제가 시작하고 이끌었기에, 이전에는 시도할 생각조차 못 했을 것들을 만들라고 지시할 수 있다는 점에서 Fable 덕분에 힘이 났습니다. 그래서 들쭉날쭉한 AGI의 이 단계가 흥미롭다고 생각합니다. 다만 이 단계가 얼마나 오래갈지 조금은 불안한 마음으로 궁금해하기도 합니다.

지금 구독하기

공유하기