Claude에 맞는 과학

요약: 이번 게스트 기고에서 매튜 슈워츠 교수가 다시 돌아와, AI로 과학 연구를 가속하는 새로운 접근법을 소개합니다. Vibe Physics에서 슈워츠는 Claude와 물리학 대학원생의 역량이 비슷하다는 점을 이야기했습니다. 이번 글에서는 Claude와 씨름하기를 멈추고, Claude가 잘 푸는 "Claude형" 문제, 즉 현세대 LLM 도구의 역량에 가장 잘 맞는 문제를 직접 찾도록 맡겨 보았을 때 어떤 일이 벌어졌는지 들려줍니다. 이 경험을 계기로 그는 정량 과학 분야의 정밀 계산을 위한 툴킷 BootLoops를 만들었습니다. 비슷한 계산이 서로 동떨어진 과학 분야에서 반복해서 등장하는 경우가 많다 보니, Claude는 생태학, 집단유전학 등 십여 개 분야와의 접점을 찾아냈습니다. 이런 연결은 기술적으로는 맞지만 처음에는 과학적으로 별로 눈에 띄지 않는 경우가 많았습니다. 그래서 슈워츠는 각 분야 전문가와 함께 BootLoops가 그 분야에서 중요하게 여기는 질문을 향하도록 방향을 잡아 나갔습니다. 아래에서 이 프로젝트들과 BootLoops가 탄생한 과정을 더 자세히 소개합니다.

에이전틱 AI는 빠르게 발전하고 있습니다. 모델이 더 똑똑해졌다는 건 누구나 느낍니다. 아는 것이 많아지고, 실수는 줄었으며, 아이디어도 더 좋아졌습니다. 이 추세선을 따라가다 보면 AI가 과학에 혁명을 일으킬 가능성을 자신 있게 이야기하기 쉽습니다. 하지만 학계의 과학자들이 지금 자기 연구에 모델을 써 보면 괴리감을 느끼는 경우가 많습니다. 모델이 어려운 오랜 난제를 풀고 있는 것은 사실이지만, 지금까지는 대부분 기존 기법을 범위가 명확한 문제에 적용한 사례였습니다. 화제가 되는 소식 상당수는 수학 분야에서 나옵니다. 문제를 완전하게 진술할 수 있고 답을 절대적으로 검증할 수 있는, 과학에서 거의 유일한 영역이기 때문입니다. 그러나 과학 대부분은 그렇지 않습니다. 많은 연구자와 학생에게는 그런 소식과 모델을 직접 써 볼 때 마주하는 현실 사이의 거리가 답답함과 불안으로 다가오기도 합니다.

제가 보기에 핵심 갈등은 이렇습니다. 모델은 분명 뛰어나지만, 인간 과학자처럼 일하는 것이 현재 LLM이 가장 잘하는 일은 아닙니다. Claude와 GPT는 과학을 잘 다루지만 과학자는 아닙니다. 똑똑한 것은 맞지만, 과학적 가치가 있는 결과를 내놓게 하려면 일일이 손을 잡아 이끌어야 하는 경우가 많습니다. 물리학자라면 이를 "임피던스 불일치"라고 부를 겁니다. 각각은 잘 작동하지만 서로 잘 맞지 않아서, 한쪽이 넣은 것의 대부분이 다른 쪽으로 전달되지 못하는 상황입니다. 여기서 불일치는 과학자가 원하는 것과 AI가 잘하는 것 사이에 있습니다.

그렇다면 어떻게 해결할 수 있을까요?

저는 임피던스 불일치가 덜한 사례를 찾아보기 시작했습니다. 먼저 Claude에게 수리물리학을 위한 접근하기 쉬운 도구 모음을 만들게 했습니다. 얼마 지나지 않아 이 도구들은 다른 문제에도 쓸모가 있다는 것이 드러났습니다. 이렇게 반복하면서 소프트웨어와 과학적 프로토콜 한 벌이 만들어졌고, 저는 이를 BootLoops라고 부릅니다. BootLoops는 LLM을 위한 일종의 하네스입니다. Claude Code나 Claude Science가 Claude의 하네스이고, Codex가 GPT의 하네스인 것과 같습니다. 제가 써 보니 BootLoops는 과학의 정량적 문제 중 특정 부류에 특히 잘 맞았습니다. 오픈소스라서 원하는 모델과 함께 쓸 수도 있습니다.

Claude가 BootLoops를 갖추자 같은 패턴이 계속 눈에 띄었습니다. 수학, 물리학, 컴퓨터 과학의 기법이 있으면 단번에 풀릴 문제가 많은 분야에 있는데, 정작 그런 기법이 있다는 사실을 아무도 모르는 경우였습니다. 저는 이런 문제를 "Claude형" 문제라고 부르기 시작했고, 제 홈그라운드인 고에너지 이론물리학을 벗어나 지질학, 생물학, 경제학, 언어학까지 따라가 보았습니다. 이런 분야에서는 Claude가 찾아낸 것이 흥미로운지 제 전문성만으로는 판단할 수 없었습니다. 그래서 전문가를 찾아가 물어보았고, 그들의 안내를 받으며 BootLoops는 여러 연구 분야에서 의미 있는 진전을 이뤄낼 수 있었습니다.

아래에서는 BootLoops가 만들어진 과정, 제가 적용해 온 분야의 초기 성과 몇 가지, 그리고 인간 과학자와 AI 과학자 사이의 임피던스 불일치를 오늘날 어떻게 풀 수 있을지에 대한 생각을 나누겠습니다.

Claude, 운전대를 잡아!

지난 12월 저는 Claude를 연구 보조로 활용해 보았고, Claude Opus 4.5가 유능한 대학원생처럼, 그것도 20배 빠른 속도로 일한다는 것을 확인했습니다. 실험이 끝날 무렵 Claude가 완성도 높은 논문을 내놓기는 했지만, 거기까지 가는 길은 고되었습니다. Claude가 쓴 문장을 하나하나 고쳐야 했고, 관련 없는 갈래로 빠지지 않도록 방향을 틀어 주어야 했으며, 막다른 길에서는 끌어내야 했습니다.

올여름에는 다른 방식을 시도했습니다. Claude를 제가 바라는 협업자처럼 대하는 대신, 실제 모습 그대로의 협업자로 대하기 시작한 겁니다. 그러려면 Claude의 강점에 맞는 문제를 찾아야 했습니다. 지금의 Claude는 깊은 개념적 질문에서는 제게 도움이 되지 못합니다. 하지만 모든 분야를 아우르는 사실상 무한한 지식의 폭, 놀라운 코딩 실력, 최첨단 수학·통계 지식, 그리고 논문과 부록, 데이터를 기계의 속도로 읽어내는 능력은 갖추고 있습니다.

Claude형 문제를 찾기 시작하기에 자연스러운 곳은 코딩이 도움이 되는 분야였습니다. Anthropic이 2026년 여름에 Claude Fable 5를 출시했을 때, 저는 이 모델의 사이버 역량이 과학 계산에도 통하는지 확인해 보고 싶었습니다. 그래서 제 논문 몇 편과 산란 진폭 관련 인접 문헌에 나오는 여러 방법을 이식하고, 코드로 구현하고, 개선하게 해 보았습니다.

산란 진폭은 대형 강입자 충돌기(LHC)의 데이터를 해석하는 방법입니다. 양성자 두 개를 13조 전자볼트로 충돌시키면, 진폭은 그 잔해와 충돌이 만들어 낸 새로운 입자(힉스 입자일 수도, 미지의 무언가일 수도 있습니다) 사이를 잇는 이론적 다리가 됩니다. 그 중심에는 파인만 도형이 있는데, 이는 특정한 형태의 다차원 적분입니다. 지금 우리가 씨름하는 적분은 하나하나가 박사 학위 논문 한 편이 되거나 연구 그룹이 몇 년씩 매달려야 하는 수준입니다.

지난 20년 동안 대안이 하나 자라났습니다. 바로 S-행렬 부트스트랩입니다. 부트스트랩 방식에서는 적분을 힘들게 계산하는 대신, 답이 하나만 남을 때까지 물리적 제약 조건을 부과합니다. 진폭이 무한대가 되는 지점(이른바 "특이점")을 알면 후보가 2만 개로 좁혀지고, 대칭성을 적용하면 500개로 줄어드는 식으로 하나까지 내려갑니다. 전통적인 부트스트랩은 순전히 해석적인 방법이고, 제약 조건이 단 하나의 선택지까지 이어지는 대칭성이 가장 높은 이론에서 가장 멀리 나아갔습니다(N=4 초대칭 양–밀스 이론의 9-루프 진폭이 그 예입니다). 현실에 가까운 이론에서는 끝까지 가기 전에 제약 조건이 바닥나는 경우가 많습니다. 더 최근의 전환인 반수치 부트스트랩은 이 간극을 메웁니다. 진폭을 몇 개 지점에서 터무니없이 높은 정밀도(때로는 1,000자리)로 계산할 수 있다면, 남은 후보가 충분히 적을 때 그 수치들로 나머지 계수를 정확히 확정할 수 있습니다.

반수치 부트스트랩은 에이전틱 AI에 안성맞춤으로 보였습니다. 한 사람이 다 통달할 수 없는 수학, 물리학, 컴퓨터 과학을 끌어다 써야 하고, 코딩과 알고리즘 개발이 아주 많이 필요하며, 검증도 가능하기 때문입니다. 같은 수치 계산 덕분에 전문가든 아니든 스크립트 두 개만 돌리면 최종 답을 적분과 원하는 자릿수까지 대조해 볼 수 있습니다. 또 이 분야 커뮤니티의 전문 지식은 고르게 분포해 있지 않습니다. 좋은 아이디어는 Wolfram Language, C++, Python, Julia에 흩어져 있고, 코드 없이 논문에만 있는 것도 훨씬 많습니다. 그래서 Fable 5에 맡긴 첫 과제는 이 모두를 공통 프레임워크로 옮기고, 논문에 제공되지 않은 코드를 작성하는 것이었습니다.

Claude는 이 일을 어렵지 않게 해냈습니다. 제 논문의 결과를 약 20분 만에 재현해서 놀랐는데, 같은 일을 하는 코드를 직접 짜는 데는 몇 주가 걸렸기 때문입니다. 반면 제가 아주 비효율적인 방식으로 작업하고 있고 제가 모르던 더 나은 알고리즘이 있다고 알려 주었을 때는 놀라지 않았습니다.

그다음에는 Claude에게 계산할 수 있는 미해결 진폭을 찾아보라고 했습니다. 알고 보니 S-행렬 부트스트랩으로 풀 수 있을 만큼 단순한 문제는 사람이 풀기에도 충분히 단순했고, 실제로 대부분은 이미 풀려 있었습니다. 그래도 Claude는 미해결 문제 몇 개를 찾아냈습니다. 모델과 이야기를 나눠 보니 Claude가 가장 단순한 함수족인 로그 함수로 이루어진 진폭만 스스로 고르고 있다는 것이 분명해졌습니다. 그래서 물었습니다. 그다음으로 단순한 함수족인 타원 함수에도 같은 일을 할 수 있겠느냐고요.

타원 적분은 정말 어렵습니다. 적분 계산에 많은 시간을 쓰는 저 같은 사람에게도 마찬가지입니다. 지금까지 계산된 타원 파인만 적분은 손에 꼽을 정도이고, 적어도 저나 Claude가 아는 한 부트스트랩만으로 완전히 계산한 것은 없습니다. 방법이 통하지 않아서가 아니라, 그러려면 필요한 전문성이 여러 사람에게 흩어져 있어서 아무도 시도하지 않았을 뿐입니다. 반면 Claude는 로그 함수의 경우를 위해 이식하고 구축한 모든 도구를 이런 다른 적분 부류로 손쉽게 일반화했습니다. 이번에는 소프트웨어 대부분을 직접 작성하거나, 물리학이 아닌 수학에서 가져다 썼습니다. 툴킷이 커지면서 적분이 하나씩 풀리기 시작했습니다. 곧 처음부터 끝까지 BootLoops로 푼 적분이 30개가 되었는데, 이 새로운 방법으로 알려진 결과를 재현한 것이 15개, 한 번도 계산된 적 없는 것이 15개였습니다.

이 모든 것이 불과 몇 주 만의 일이었습니다. 처음에는 이 정도만 정리해서 발표해도 만족하리라 생각했지만, 우리(저와 BootLoops를 갖춘 Claude)가 또 무엇을 할 수 있을지 보고 싶은 마음을 참을 수 없었습니다.

"나, 쿵푸 알아"

과학의 뜻밖의 특징 중 하나는 같은 방정식이 서로 다른 맥락에서 되풀이해 나타난다는 점입니다. 예를 들어 물리학에서 확산 방정식, 포커–플랑크 방정식, 슈뢰딩거 방정식은 수학적 형태가 같아서, 하나를 푸는 방법을 개발하면 다른 많은 문제에도 적용할 수 있는 경우가 많습니다. BootLoops가 잘하는 계산이 우주론이나 끈 이론 같은 다른 분야와 관련이 있다는 것은 저도 알고 있었습니다. 제가 몰랐던 것, 그리고 Claude가 기꺼이 알려 준 것은 이 적분들이 집단유전학의 베이즈 증거 적분에 대응될 수 있고, 파인만 적분 환원에 쓰이는 유한체 기법이 진화생물학 문제에도 적용될 수 있다는 사실이었습니다.

이를 계기로 Claude형 문제(좁게는 BootLoops형 문제)를 찾아 해결하는 아주 풍성한 시기가 시작되었습니다. 어떤 아이디어는 훌륭한 응용 사례임이 단번에 드러났습니다. 예를 들어 계통발생학은 DNA를 이용해 생물종을 계통수로 분류하는 방법을 연구하는데, 여기서 필요한 계산이 바로 베이즈 증거 적분입니다. 이 적분의 결과는 후보 계통수가 관찰된 DNA를 얼마나 잘 설명하는지를 나타내는 숫자 하나이며, BootLoops가 원래 풀려고 만들어진 것과 같은 종류의 적분입니다. 아이디어가 나올 때마다 저는 Claude에게 기존 도구를 쓰는 것과 새 도구를 만드는 것을 모두 요구했고, 그렇게 하네스는 계속 커졌습니다. 실패한 프로젝트에서 나온 도구조차 새로운 문을 열어 주었습니다. Claude는 점점 더 유능해졌습니다. 마치 쿵푸를 다운로드받고 깨어난 매트릭스의 네오 같았습니다.

하지만 프로젝트가 제 전문 분야의 안전지대에서 벗어나면서 걱정이 생기기 시작했습니다. Claude가 제 분야에서 한 일을 두고 대단하다고 주장하면 저는 그 말이 사실인지 판단할 수 있습니다(사실이 아닌 경우도 많습니다). 하지만 다른 분야에서 한 일을 대단하다고 하면 저는 어느새 수긍하고 있습니다. 의심이 커진 저는 확실히 하려면 전문가의 도움이 필요하다고 생각했습니다. 실제로 거의 모든 경우에 Claude는 기술적으로는 맞았지만, 전문가가 방향을 잡아 주기 전까지는 결과가 그다지 흥미롭지 않았습니다.

그런 프로젝트 중 하나가 생태학의 중립 생물다양성 이론이었습니다. 어떤 생태계에서든 어떤 종은 번성하고 어떤 종은 사라집니다. 중립 이론은 그 생활사가 얼마나 우연에 의한 것인지를 묻습니다. 앞선 연구를 바탕으로 2001년 생태학자 스티븐 허벨이 도발적으로 제안한 것은 어쩌면 모든 것이 우연일지 모른다는 생각이었습니다. 2005년에는 생태학자 람팔 에티엔이 허벨의 이론에 방정식을 부여해, 적어도 원리적으로는 정밀하게 검증할 수 있게 했습니다. 안타깝게도 20년 동안 아무도 이 방정식을 대규모로 풀지 못했습니다. Claude는 에티엔의 방정식이 BootLoops형 문제임을 알아보고 풀어냈습니다. 이 계산을 데이터에 적용한 결과, 지구에서 생태학적으로 가장 많이 연구된 숲인 파나마 운하의 바로 콜로라도 섬에서 나무 종의 구성이 중립 이론이 허용하는 것보다 4.5배 빠르게 변한다는 사실을 확인했습니다.

이 결과에 들뜬 저는 식물생물학 교수이자 중립 이론 전문가인 제임스 오드와이어를 찾아갔습니다. 제임스는 저를 인내심 있게 대해 주었습니다. 기술적 성과에는 감탄했지만, 이 결과가 "많은 생태학자에게는 시큰둥한 반응을 얻을 것"이라고 했습니다. 중립 이론이 실제 숲의 변화를 따라가지 못한다는 점은 생태학자들이 이미 좀 더 정성적으로 관찰해 왔기 때문입니다. 하지만 제임스에게는 더 나은 아이디어가 있었습니다. 중립 이론의 예측을 빼고 남는 부분을 연구하자는 것이었습니다. 그러면 자연선택, 경쟁, 종 간 차이로 인한 변화가 무엇인지 더 잘 파악할 수 있을 터였습니다.

제임스와 저는 Claude와 집중적으로 작업하며 후속 모델을 만들어 나갔습니다. 제임스는 물리학 배경이 있어서 분야 간 언어 장벽을 비교적 쉽게 넘을 수 있었지만, 많은 과학자가 그렇듯 그 역시 에이전틱 AI의 힘을 아직 제대로 실감하지 못한 상태였습니다. 협업이 진행되면서 저는 일종의 Claude 담당자가 되었습니다. Claude의 말을 제임스에게 통역하고 모델이 궤도를 벗어나지 않도록 붙잡는 한편, 제임스는 모델이 생태학자들이 가치 있게 여길 만한 결과를 내도록 밀어붙였습니다. 최종 결과는 우리 셋 모두가 자랑스러워하는 것으로, 데이터와 아주 잘 들어맞는 생활사 최소 예측 모델입니다. 현재는 Claude가 정리를 도운 데이터셋을 사용해 이 모델을 파나마에서 전 세계의 다른 숲 조사구로 확장하고 있습니다.

또 다른 프로젝트는 집단유전학의 정밀 계산을 다뤘습니다. 집단유전학은 한 집단 안에서 유전자가 어떻게, 왜 달라지는지를 연구하는 분야입니다. Claude는 먼저 수리물리학에서 가져온 방법으로, 자연선택이 희귀 돌연변이를 어떻게 빚어내는지를 나타내는 30년 묵은 적분식을 풀었습니다. 이를 인간 유전적 변이의 가장 큰 공개 카탈로그인 gnomAD에 적용했습니다. Claude는 이 결과에 몹시 들떴지만 저는 확신이 서지 않았습니다. 검증을 받으려고 생물학자 세 명에게 메일을 보냈는데 한 명이 답하기까지 시간이 걸렸고, 결국 이 분야에서 일하지만 이 문제를 직접 다루지는 않는 동료 마이클 데사이를 영입할 수 있었습니다. 제임스 때와 마찬가지로 마이클도 기술적 결과에는 감탄했지만 과학적으로는 마음이 움직이지 않는 눈치였습니다.

그러나 마이클은 같은 방법론이나 비슷한 방법론으로 단일 염색체 위 돌연변이 쌍 사이의 상관관계를 연구하면 더 영향력 있는 결과가 나올 수 있다고 짚어 주었습니다. 이 범위 안에서 Claude는 수학의 컴퓨터 보조 증명에 쓰이는 부등식 증명서 같은 새로운 도구를 찾아 만들었고, 이를 BootLoops 키트에 추가했습니다. 이어서 1000 게놈 프로젝트의 게놈에서 인접한 돌연변이 57억 쌍을 분석했고, 유전자 전환이라는 메커니즘의 증거를 발견했습니다. 집단의 역사부터 질병 지도 작성까지, 연관된 유전적 변이를 쓰는 거의 모든 분석이 유전자 전환을 무시하고 있기 때문에 이는 중요한 발견입니다. 더 큰 교훈은 AI가 방대한 유전체 데이터셋에 숨은 생물학을 찾아내는 데 도움이 될 수 있다는 점입니다. 공개 아카이브에는 그런 데이터셋이 수천 개나 잠들어 있습니다.

다른 프로젝트들도 비슷한 흐름을 따랐습니다. Claude가 제가 보기에 흥미로운 초기 발견을 내놓으면, 저는 이를 전문가에게 가져갑니다. 전문가는 별로 감흥이 없지만 가능성은 알아보고, 우리는 함께 이를 다듬어 의미 있는 과학으로 만듭니다. 흥미롭게도 이 가운데 일부는 BootLoops형 정량 계산에서 벗어나 더 일반적인 Claude형 작업으로 옮겨 갔습니다. 예를 들면 다음과 같습니다.

• 경제학. 이제 경제학 저널은 저자에게 재현 패키지를 요구하고, 편집자가 이를 검토하는 경우가 많습니다. 이는 꼼꼼한 수작업입니다. 경제학자 두 명과 함께 AI 데이터 에디터를 만들었습니다. 이 에디터는 주요 저널 다섯 곳에 실린 논문 4,452편의 패키지를 MATLAB, Stata 같은 상용 도구에서 오픈소스 코드(약 3만 개 루틴)로 옮기고, 검증 가능한 거의 모든 수치를 발표된 표와 대조했습니다. 결과는 NBER 워킹 페이퍼에서 볼 수 있습니다.
• 언어학. 단어 강세 목록은 보통 수작업으로 만들어지기 때문에 언어가 수백 개에 그치고, 선택 편향과 사람의 선호가 개입됩니다. Claude는 공개적으로 접근 가능한 모든 자료를 샅샅이 뒤졌고, 언어학자 세 명과 함께 AccStack을 만들었습니다. AccStack은 6,072개 언어를 다루는 단어 강세 데이터베이스로, 거의 모든 항목에 판단 근거가 된 구절을 인용했으며 음운론 문헌 16만 건의 참고문헌 목록도 함께 담았습니다.

전문가와 협업해 진행한 다른 주요 성과로는 다음이 있으며, 모두 추가 탐구와 검증이 진행 중입니다.

• 계통발생학. 진화 계통수의 베이즈 증거를 빠르게 계산하고 정확하게 검증할 수 있게 만들었고, 개별 유전자가 경쟁하는 계통수들 사이에서 표준 샘플링 프로그램의 오차보다도 작은 차이로 동률을 이루는 경우가 많다는 것을 발견했습니다.
• 지구과학. 대기과학, 지구화학, 기후 모델링의 방정식과 데이터를 결합해, 대산화 사건이 네 차례의 빙하기를 거치며 어떻게 전개되었는지를 설명하는 정량적 예측 모델을 만들었습니다.
• 유전체학. 단일 세포 RNA 수치의 통계를 대규모로 연구해 폭발적 전사 속도와, 교과서적인 유전자 발현의 텔레그래프 모델에서 벗어나는 정도를 규명했습니다.
• 태양 흑점. 인구 통계학의 방법을 이용해 태양 흑점의 생애 주기를 도출한 뒤, 이 방법론을 확장해 많은 외계 행성 탐색에서 교란 요인이 되는 별 흑점의 특성을 규명했습니다.
• 수리물리학. 조지 왓슨이 1939년에 시작한 격자 적분 시리즈의 마지막 문제인 왓슨의 "마지막 문제"를 풀었습니다. 도약률이 서로 다른 세 가지인 3차원 임의 보행의 정확한 회귀 확률입니다.
• 우주론. 우주의 대규모 구조 데이터에 우주론 매개변수를 맞추기 위한 완전한 이론 툴킷을 구축했습니다. 여기에는 전체 2-루프 파워 스펙트럼과 1-루프 트라이스펙트럼이 포함됩니다.
• 통계학. 혼합 모형은 다루기 까다롭기로 악명이 높습니다. 우리는 이 모형의 베이즈 증거에 대한 정밀한 근사식을 유도해 모형 선택을 현실적으로 가능하게 했고, 이는 생물통계학부터 텍스트 분석까지 응용됩니다.

BootLoops를 반복적으로 개선하고, Claude형 응용을 찾고, 전문가와 함께 과학의 최전선까지 밀고 나가는 이 접근법은 전반적으로 놀라울 만큼 생산적이었습니다. 이런 프로젝트와 그 밖의 프로젝트에 대한 더 자세한 정보는 bootloops.ai에서 볼 수 있습니다.

기술적 세부 사항

여러 프로젝트를 동시에 돌리려면(후보 문제 약 400개 가운데, 3개월 동안 18개 분야에서 공저자 19명과 36편의 원고를 진행했습니다) 저와 Claude 모두에게 많은 조율이 필요합니다. 이를 감당할 수 있게 해 주는 구성은 꽤 단순합니다. Claude Code 세션은 모두 Google Cloud 가상 머신의 터미널에서 실행되며, 공동 연구자의 선호에 따라 여러 GitHub 및 Overleaf 저장소와 연결됩니다. 프로젝트마다 별도 세션이 있고, 나머지 세션을 조율하고 컴퓨팅 자원을 배분하며 결과를 검증하는 마스터 세션이 따로 있습니다. 각 세션에서는 에이전트들이 백그라운드로 계산을 수행하고, 중간 결과는 각자의 폴더에 마크다운 파일로 저장됩니다. 이런 서브에이전트는 유용합니다. Fable 5의 분류기에 자주 걸리는데, 그럴 때 세션 전체가 망가지는 대신 에이전트 하나만 종료되기 때문입니다. 결과를 쓰는 세션, GitHub 저장소와 도구 매뉴얼과 BootLoops 웹사이트를 만드는 세션, 개별 도구 코드를 모두 작성하고 검증하는 세션, 그리고 적대적 심사자 역할로 결과를 거듭 확인하는 세션도 따로 둡니다.

그래도 세션에는 많은 지도가 필요합니다. 예를 들어 Claude는 시간 감각이 없고 극적인 표현을 좋아합니다. 한 프로젝트가 끝날 무렵에는 "매트, 공식이 풀렸습니다. 2년에 걸친 캠페인, 네 번의 깊은 행군 끝에…"라고 했습니다. 실제로 작업한 기간은 사흘뿐이었습니다. 예상 소요 시간을 물으면 추정치는 늘 너무 길거나 너무 짧습니다. 테스트를 돌려 확인하기 전에는 추정치를 확정하지 말라고도 해 보았지만, 그것 역시 잘 먹히지 않았습니다. Claude에게 의지할 수 없다 보니, 시간이 지나면서 저 스스로 일이 얼마나 걸릴지 감을 잡게 되었습니다.

더 큰 문제는 Claude가 기본적으로 며칠씩 걸리는 긴 계산을 억지로 밀어붙이려 하고, 같은 계산을 몇 분 만에 끝내 줄 새 도구를 만들려 하지 않는다는 점이었습니다. 저는 몇 번이고 더 열심히 말고 더 영리하게 생각하라고 말해야 했습니다. 이렇게 긴 프로젝트를 하다 보면 컴팩션이 자주 일어나 Claude가 중요한 맥락을 잃곤 했습니다. 이를 막으려고 Claude가 주기적으로 파일을 정리하고 통합하게 해서, 항상 최신 계획을 참조할 수 있도록 했습니다. 이 문제들을 해결하기 위해 프로토콜 스킬과 여러 도구를 BootLoops 하네스에 넣어 두었습니다. 이런 문제 중 일부는 Claude Science 같은 좋은 상용 하네스에서도 해결되어 있습니다. 하지만 상당수는 현세대 에이전틱 AI에 내재한 불편함으로, 모델이 결국 극복하리라고 예상합니다.

제가 겪은 다른 실패 유형과 대처 요령을 몇 가지 소개합니다.

• Claude는 승리 선언을 좋아합니다. "별표 하나 붙여서 완료"는 대개 "전혀 끝나지 않았다"는 뜻입니다. "정확히 그렇습니다, 다만 한 가지만 보완하면"은 보통 "아니오"를 뜻합니다. 성공의 기준을 분명하고 엄격하게 제시하면 도움이 됩니다. 한 프로젝트에서는 "증명되지 않은 보조정리 하나"만 빼면 증명이 끝났다며 자랑스러워했습니다. 그런데 그 보조정리가 증명 전체였습니다! 증명되지 않은 보조정리는 안 된다고 했더니, 이번에는 새 공리를 하나 들고 와서 또 "완료"라고 하더군요.
• 모든 것을 직접 확인하세요. 저는 항상 그래프를 보여 달라고 합니다. 모니터링을 아무리 많이 설정해도 자동 검사는 여전히 믿을 수 없다는 것을 알게 되었습니다. "잘 일치한다" 같은 정성적 주장은 경계하세요.
• 결론을 의심하세요. Claude는 계산은 잘 수행하지만 거기서 끌어내는 결론은 틀릴 수 있습니다. 스스로 납득할 때까지 무엇을 발견했는지 설명하게 하세요.
• 안목은 직접 제공하세요. Claude는 Claude형 문제를 찾아낼 수 있지만, 그런 문제는 수천, 어쩌면 수백만 개나 됩니다. Claude는 인용은 많이 되었지만 이미 오래전에 잊힌 해묵은 논쟁을 선호하는 듯합니다. 단순히 더 빠르거나 자릿수만 늘어난 것이 아니라 새롭게 가능해진 것에 집중하라고 요청하면 도움이 되지만, 무언가가 흥미로운지에 대한 Claude의 판단은 그래도 믿을 수 없습니다.
• 계속 추궁하세요. Claude가 훌륭한 결과를 내놓으면 더 훌륭한 결과를 요구하세요. 항상 무언가를 내놓고, 가끔은 그것이 빛나는 결과입니다.
• 무작정 밀어붙이는 계산을 조심하세요. 솔직히 저는 Claude가 시간을 제대로 추정하게 만드는 데 한 번도 성공하지 못했습니다. 대신 흥미로운 일이 얼마나 걸려야 하는지 감을 키웠고, Claude가 합당한 시간 안에 제가 보기에 진전이라 할 만한 것을 이뤄 내고 있는지 알아채는 법을 익혔습니다. 내버려 두면 모델은 영원히 밀어붙일 것입니다.

이 프로젝트들이 컴퓨팅과 토큰을 많이 소모했다는 점도 짚어 두어야겠습니다. 제 경우 비용 일부는 한 프로젝트에만 쓰이지 않고 분야를 잇고 다른 사람들이 가져다 쓸 수 있는 패키지가 되도록 도구를 만들려는 데서 나왔습니다. BootLoops 하네스가 정량 과학 전반에서 널리 쓰여, 사용자마다 모든 것을 처음부터 다시 만들지 않아도 되기를 바랍니다. 에이전틱 AI는 아이디어를 연결하고 코드베이스를 공유하기 쉽게 해 주며, 우리가 이 강점을 활용하는 법을 익히면 커뮤니티는 어느 개인이 혼자 할 수 있는 것보다 빠르게 나아갈 수 있습니다.

전망

모델이 아무리 똑똑해져도 과학적 진보 대부분은 실제 세계의 데이터에서 나오며, 이 데이터는 확보하고, 이해하고, 검증해야 하고, 한 단계의 결과가 다음 질문을 알려 줍니다. AI는 그 순환 안에 들어갈 수 있고 그것은 분명 가치 있는 일이지만, 순환을 한 점으로 압축해 주지는 않습니다. 이해는 앞 단계 위에 한 단계씩 쌓아 올리는 것이고, 암 치료제나 핵융합로도 프롬프트 하나가 아니라 그렇게 도착할 것입니다.

밀레니엄 문제와 거대 과학에 쏠린 관심은 Claude의 표현을 빌리면 "풋건"일지도 모릅니다. 자기 발에 총을 쏘기 쉽게 만드는 기능이라는 뜻입니다. 여기서의 위험은 비현실적인 기대가 이미 가능한 생산적 활용을 꺾을 수 있다는 점입니다. 실제 진보는 아마 늘 그래왔듯이, 과학 연구의 토대를 단단히 하고 그 위에 점점 정교한 응용을 쌓는 방식으로 올 것입니다. 지금까지 소개한 작업에서 보듯 속도는 극적으로 빨라지겠지만, 과학적 방법을 다시 검토해야 한다는 증거도, 필요도 저는 보지 못했습니다.

AI 과학을 이야기할 때 가끔 쓰이는 용어 중 제가 좋아하는 것은 볼록 껍질(convex hull)입니다. 어떤 도형의 모든 점 쌍을 직선으로 이으면, 원래 도형을 포함하는 가장 작은 볼록 도형이 만들어지는데 이것이 볼록 껍질입니다. 오늘날 과학은 매우 들쭉날쭉합니다. 곳곳에 울퉁불퉁한 최전선이 있습니다. 생물학은 이쪽으로 튀어나와 있고 수학은 저쪽으로 튀어나와 있습니다. 한 연구실은 자신들이 통달한 하나의 방법으로 하나의 유전자 집합에 대해 모든 것을 알아내는 데 20년을 쓰는 동안, 이웃한 유전자와 대안적 방법은 묵혀 둘 수 있습니다. BootLoops 같은 하네스는 이런 점들을 연결해 껍질을 채워 나갈 수 있습니다.

상황이 빠르게 변하고 있어서 앞날을 계획하기가 사실상 불가능합니다. AI 모델이 하룻밤 사이에 풀어 버릴지도 모르는 문제를 계산하겠다고 3년치 연구비를 신청할 이유가 있을까요? 저는 지금도 대학원생을 어떻게 가르쳐야 할지 모르겠습니다. vibe physics 글을 발표한 이후 이런 느낌은 더 절실해지기만 했습니다. 컴퓨터 과학 같은 일부 분야에서는 그 충격이 정말 무서울 정도입니다. 2년 전이라면 "엔지니어를 위한 파이썬" 강좌를 필수로 추천했겠지만, 지금은 필요 없습니다. 저는 다양한 물리 현상을 연구하기 위한 모델을 만드느라 머신러닝에 많은 시간을 들였습니다. 이제 그런 모델은 모두 AI가 만들 수 있으니 신경망의 세부 사항을 배우는 것조차 쓸모가 제한적입니다. Claude에게 최신 ML 접근법을 찾으라고 하면 알아서 해 줍니다.

저는 BootLoops가 적합한 문제만 찾으면 그 문제를 푸는 기술적 작업 상당수를 이제 자동화할 수 있음을 보여 준다고 생각합니다. 어찌 보면 해방적인 일입니다. 하지만 개념적인 부분에는 여전히 인간이 필요합니다. 그래서 Claude형 과학에서도 인간이 마땅한 공로를 인정받을 방법을 찾을 수 있기를 바랍니다. 묘하게도 AI는 위에 있는 사람이 공을 차지하고 문제에 직접 매달린 사람은 아무것도 얻지 못하는 통상적인 비즈니스 모델을 뒤집을 위험이 있습니다. 이것이 어떻게 해결될지는 저도 모르겠지만, 인간의 기여가 타이핑이었다고 가장해서는 해결되지 않을 것입니다.

그렇다면 평범한 과학자는 어디에 서 있을까요? 제가 보기에는 사실 아주 좋은 자리입니다. 이제 우리 손끝에는 도저히 풀리지 않을 것 같던 문제를 번개 같은 속도로 진전시킬 수 있는 도구가 있습니다. 시스템 생물학처럼 데이터는 풍부하지만 이론이 부족한 분야에서 큰 성장이 다가오리라 내다봅니다. 인간의 두뇌가 지루한 계산과 분석에서 풀려나, 방향을 정하고 이끄는 더 깊은 지적 작업을 하게 될 모습도 쉽게 상상할 수 있습니다. 무엇보다 제가 BootLoops로 그랬듯, 과학자들이 자기 홈그라운드를 벗어나 시너지와 협업을 찾아 나설 것으로 기대합니다. Claude형 과학에 집중해서 얻은 가장 신선한 성과는, 인간형 과학이 어떤 모습인지 새삼 깨닫게 해 준다는 점입니다.

BootLoops 하네스와 이를 통해 가능해진 과학에 대한 자세한 내용은 www.bootloops.ai에서 볼 수 있습니다. BootLoops 하네스는 GitHub에 공개되어 있어 누구나 사용하고 기여할 수 있습니다.

감사의 말

Claude와 BootLoops로 제가 만들어 낸 과학은 동료 인간들의 지도와 협업이 없었다면 결코 지금만큼 흥미롭지 못했을 것입니다. 아이자이어 앤드루스, 니마 아르카니-하메드, 마이클 데사이, 스콧 에드워즈, 노암 엘키스, 세실리아 가라포, 매튜 고든, 토마스 그림, 마르틴 헴베르크, 미하일 이바노프, 데이비드 존스턴, 게리 킹, 폴 루이스, 브렌던 미드, 아마라 맥쿤, 조 페이터, 수바하브라타 센, 시다르스 미슈라-샤르마, 제임스 오드와이어, 케빈 라이언, 제시 샤피로, 샤오위안 장에게 감사드립니다.

공개 사항

이 프로젝트를 진행하는 동안 슈워츠는 Anthropic의 방문 연구원으로 일했습니다. BootLoops는 Anthropic의 프로젝트가 아니며, 매튜 슈워츠가 소유하고 관리합니다.