AI로 과학 모델 만들기: 과학 모델 구축을 가르치는 AI

1951년, 케임브리지 대학교의 컴퓨터가 반년 동안 작동을 멈췄습니다. 생리학자 앤드루 헉슬리에게는 곤란한 일이었습니다. 헉슬리는 동료 앨런 호지킨과 함께 오징어의 특정 신경세포가 어떻게 신호를 발화하는지 설명하는 방정식을 막 완성한 참이었습니다. 두 사람이 알고 싶었던 것은 이 신경세포의 '활동전위'였습니다. 활동전위는 신경세포가 서로 신호를 주고받는 전기 펄스로, 지각에서 지능에 이르기까지 뇌가 하는 모든 일의 바탕이 됩니다. 방정식이 맞는지 확인하려면 방정식을 풀어서 그 해를 데이터와 비교하는 수밖에 없었습니다.

헉슬리는 당시로서는 최신 장비였던 컴퓨터로 방정식을 풀려 했지만, 결국 손으로 돌리는 기계식 계산기를 써야 했습니다. 계산에는 3주가 넘게 걸렸습니다.

모델의 기본 구조는 세포에 대해 이미 알려진 사실을 따라 정해졌습니다. 호지킨과 헉슬리는 세포막을 전기 회로로 모델링했습니다. 다만 모델의 한 부분은 경험에 기댄 추측일 뿐이었습니다. 측정한 데이터에 곡선을 맞추려면 변수 하나를 4제곱, 즉 자기 자신을 세 번 곱해야 한다는 사실을 발견한 것입니다. 당시에는 그 이유를 알지 못했습니다. 그렇게 하지 않으면 관측 데이터를 잘 예측하지 못한다는 것만 알았을 뿐입니다.

그래도 가설은 내놓았습니다. 세포막의 특정 통로(gate)가 열리는 방식을 좌우하는 이 변수에 4제곱이 필요한 것은, 통로가 열리기 전에 세포막 안의 전하 입자 여러 개가 제자리로 이동해야 하기 때문일 수 있다고 조심스럽게 제안했습니다.

수십 년이 지나 호지킨과 헉슬리가 1963년 노벨 생리의학상을 받은 지 한참 뒤, 다른 연구팀이 관련 칼륨 이온 통로 단백질의 구조를 밝혀냈습니다. 그 단백질은 실제로 중앙의 구멍 둘레에 똑같은 조각 네 개가 배열된 구조였습니다. 이 모델은 1951년에 데이터에 맞춰 만든 것이었는데도, 신경 자극이 전달되는 속도를 비교적 정확하게 예측했습니다. 게다가 한 번도 맞춰 본 적 없는 칼륨 이온 통로의 구조까지 예측하는 데 도움이 된 것으로 드러났습니다.

오늘날 AI 시스템이라면 호지킨과 헉슬리의 방정식 같은 식을 오후 한나절 만에 찾아낼 수도 있고, 실험 데이터에는 더 잘 들어맞을지도 모릅니다. 하지만 이 이야기의 요점은 4제곱이 효과가 있다는 사실을 아는 것만으로는 충분하지 않다는 데 있습니다. 더 단순한 모델이 통하지 않는다는 점을 아는 것이 중요했습니다. 모델만 건네주는 AI 시스템은 답은 줄 수 있어도 이해까지 주지는 못합니다. 모델로 데이터를 재현하는 것만으로는 부족합니다. 같은 일을 해내는 모델은 얼마든지 있기 때문입니다. 중요한 것은 실제 시스템, 나아가 그와 비슷한 다른 시스템에 대해서도 주장할 수 있느냐입니다. 그러려면 이 모델이 잘 작동하는 다른 모델들과 어떤 특징을 공유하고, 작동하지 않는 모델들과는 무엇이 다른지 알아야 합니다. 수학자 리처드 해밍이 1962년에 썼듯이, "계산의 목적은 숫자가 아니라 통찰이다."

3단계 접근법

70년이 넘게 지난 지금도 호지킨-헉슬리 모델은 신경세포의 전기 활동을 설명하는 표준으로 남아 있습니다. 상수만 다를 뿐 같은 종류의 방정식이 오징어부터 사람까지 동물계 전반의 신경세포를 설명합니다. 이들의 진화 계통이 5억 년도 더 전에 갈라졌는데도 말입니다.

하지만 오래 살아남았다는 사실보다 더 중요한 것은, 호지킨-헉슬리 모델이 모델이 작동하는 방식에 대해 알려 주는 내용입니다. 두 사람의 접근법은 세 단계로 나눌 수 있고, 대부분의 과학 모델링에는 이 단계들이 어떤 형태로든 들어 있습니다.

• 첫 번째는 모델을 구축하는 단계입니다. 모델이 무엇으로 이루어지고 방정식이 어떤 꼴을 띨지 정하는 일입니다. 호지킨과 헉슬리의 경우에는 세포막과 통로 같은 전기 회로의 구성 요소, 그리고 기저 변수를 4제곱하는 것과 같은 방정식의 형태가 여기에 해당합니다.
• 두 번째는 모델을 제약하는 단계입니다. 조정 가능한 매개변수를 실제 측정값에 맞게 튜닝하는 일입니다. 호지킨과 헉슬리에게는 전압에 따라 통로가 얼마나 자주 열리는지 같은 설정이 여기에 포함되었습니다.
• 세 번째는 모델을 해석하는 단계입니다. 모델이 실제 시스템에 대해 무엇을 말해 주는지 묻는 일로, 4제곱이라는 결과에서 통로에 움직이는 부품이 네 개 있으리라 추정한 것이 한 예입니다.

실제로 과학자들은 이 단계를 여러 번 되풀이합니다. 숫자가 측정값과 맞지 않거나 해석이 말이 되지 않으면 돌아가서 수정합니다.

세 단계 모두 한때는 사람이 직접 했지만, 이제는 각 단계에 AI 시스템이 점점 더 많이 관여합니다. 기계가 가장 눈에 띄게 발전한 곳은 모델을 제약하는 단계이므로, 여기서부터 살펴보겠습니다.

영수증 나눠 내기: 모델을 제약하는 방법

호지킨과 헉슬리는 눈과 직관으로 모델을 제약했고, 그 결과 숫자 한 세트를 얻었습니다. 이는 모델이 데이터와 맞을 수 있다는 것을 알려 줬습니다. 하지만 다른 숫자로도 똑같이, 혹은 더 잘 맞았을지는 알려 주지 못했습니다.

단체 회식 비용이 총 120달러라는 것은 알지만 누가 무엇을 주문했는지는 모른다고 상상해 보세요. 이 금액이 나올 수 있는 주문 조합은 많습니다. 모두가 중간 가격대 버거를 시켰을 수도 있고, 한 사람이 스테이크와 랍스터를 먹고 나머지는 수프를 먹었을 수도 있습니다. 신경세포 모델도 같은 원리입니다. 통로 매개변수의 조합이 달라도 거의 똑같은 전기 활동이 나올 수 있습니다. 잘 들어맞는 조합 하나만 보여 주면 나머지 그럴듯한 매개변수 설정이 전부 가려지고, 다른 조합은 다른 예측으로 이어질 수도 있습니다. 모델링하는 거의 모든 현상이 마찬가지입니다. 관측 데이터를 똑같이 잘 설명하는 매개변수 세트는 여러 개입니다.

해법은 베이즈 추론이라는 통계 기법입니다. 베이즈 추론은 데이터에 얼마나 잘 맞는지와 매개변수에 대한 사전 지식을 함께 고려해, 어느 정도 잘 맞는 숫자 세트를 모두 확률분포로 보여 줍니다. 분포는 곡선 모양을 띠며, 가장 잘 맞는 것이 정점에, 덜 맞는 것이 가장자리에 놓입니다.

하지만 복잡한 모델에서는 이 방법을 쓰기가 대체로 어려웠습니다. 가능한 모든 숫자 세트에서 측정값이 나올 가능성을 계산해야 하기 때문입니다. 호지킨-헉슬리 모델에서는 그래도 가능하지만, 이보다 복잡해지면 계산량 때문에 사실상 불가능합니다. 예를 들어 수천 개의 이온 통로가 저마다 무작위로 열리고 닫힌다면 모든 조합을 따져 봐야 합니다. 앞의 식당 영수증 비유로 돌아가면, "A가 버거를, B가 스테이크를 먹었다면 계산서가 얼마나 나올까?"에는 쉽게 답할 수 있지만, 최종 금액이 나올 수 있는 조합이 무엇인지 찾는 일은 훨씬 어렵습니다. 사람 수와 메뉴가 늘어날수록 더 그렇습니다.

시뮬레이션 기반 추론(SBI, simulation-based inference)이라는 다른 접근법은 이 역공학 문제를 압도적인 계산량으로 해결합니다. 무작위로 매개변수를 고르고, 모델을 실행해 출력을 기록합니다. 이를 반복하는데, 호지킨-헉슬리 같은 모델이라면 10만 번 정도, 더 크고 복잡한 모델이라면 수백만 번 합니다. 그런 다음 이 결과로 신경망을 학습시킵니다. 그러면 신경망은 출력을 입력받았을 때 그 출력을 만들 수 있는 매개변수의 범위를 돌려줍니다.

SBI에 필요한 조건은 모델을 실행할 수 있다는 것뿐입니다. 매개변수 세트를 넣으면 예상되는 종류의 데이터가 나오면 됩니다. 이렇게 매개변수를 넣어 데이터를 얻는 모델을 시뮬레이터라고 하며, '시뮬레이션 기반 추론'이라는 이름도 여기서 나왔습니다. 측정값이 나올 가능성을 수식으로 계산할 필요가 전혀 없고, 바로 이 계산이 표준 베이즈 추론을 어렵게 만드는 단계입니다. 요즘 시뮬레이터는 대개 컴퓨터 프로그램이지만 꼭 그래야 하는 것은 아닙니다. 방정식을 손으로 계산하던 헉슬리도 시뮬레이터를 돌리고 있었던 셈입니다. 많은 시뮬레이터는 순방향으로 실행하기는 쉬워도 역방향으로 되짚기는 불가능합니다. 깔끔한 방정식으로 적을 수조차 없고 가정이 따르는 규칙 안에 녹아 있는 시뮬레이터도 있지만, 그래도 엄연한 모델입니다. 신경세포 네트워크에서 은하 충돌에 이르기까지, 복잡한 현상 상당수에서는 시뮬레이터가 우리가 가진 유일한 종류의 모델인 경우가 많습니다. SBI를 쓰면 이런 모델도 데이터로 제약할 수 있습니다.

이 많은 시뮬레이션을 돌리는 데는 비용이 많이 들고 몇 주가 걸리기도 합니다. 하지만 일단 끝나면, 학습된 신경망은 추가 시뮬레이션 없이 새 데이터에 대한 추론을 몇 초 만에 해냅니다. 이 속도 덕분에 가능한 일의 범위가 달라졌습니다. 중성자별 두 개가 충돌할 때 SBI는 충돌이 하늘의 어디쯤에서 일어났는지 대략 알아낼 수 있고, 신호가 아직 감지되는 동안 망원경을 그쪽으로 돌릴 수 있을 만큼 빠릅니다. 같은 접근법은 우주론, 구조생물학, 지구물리학 등 여러 분야의 문제에 성공적으로 적용되었습니다.

SBI는 호지킨-헉슬리 모델을 포함한 신경세포 모델에도 적용되었습니다. SBI는 최적의 해 하나가 아니라 분포를 돌려주므로, 데이터로 잘 제약되는 매개변수가 무엇인지, 어디에서 둘 이상의 설명이 가능한지, 어디에 데이터가 더 필요하고 따라서 추가 실험이 가장 시급한지를 확인할 수 있습니다.

한 단계 위의 영수증: 모델을 구축하는 방법

모델을 제약하려면 먼저 제약할 모델이 있어야 합니다. 호지킨-헉슬리 모델의 방정식은 제1원리에서 유도한 것이 아닙니다. 기저 변수의 4제곱은 과학자들의 생물학적 통찰과, 더 단순한 버전이 잘 맞지 않는다는 발견에서 경험적으로 나왔습니다.

과학의 역사 대부분에서 모델은 이런 식으로 만들어졌습니다. 과학자가 전문 지식과 가정을 동원해 후보 모델을 적어 내려가고, 그것을 검증하고 수정하며 다시 시도했습니다. 문제는 가능한 모델의 공간이 사실상 무한하다는 것입니다. 경험에 의존해 모델을 몇 개 제안하는 과학자는 관측 데이터를 똑같이 잘 설명할 수 있었던 모델을 놓칠 가능성이 매우 큽니다.

이제 AI 시스템이 이 단계를 돕거나 아예 맡을 수 있습니다. 데이터와 시스템에 대한 자연어 설명이 주어지면, LLM 기반 에이전트가 후보 모델 하나 또는 여러 개의 코드를 작성합니다. 그런 다음 모델을 실행하고 매개변수를 제약하며 출력을 실제 데이터와 비교한 뒤, 방정식의 형태를 바꾸는 식으로 모델을 수정합니다. 이 과정은 모델이 데이터를 충분히 정확하게 재현할 때까지 반복됩니다. 지난 2년 사이 이런 시스템이 여럿 등장했습니다.¹ 세부 사항은 제각각이지만, 모두 LLM으로 모델 자체를 설계합니다. 얼마 전까지만 해도 이는 사람만 할 수 있는 일로 여겨졌습니다.

그러나 모델이 데이터를 재현한다고 해서 통찰을 주는 것은 아닙니다. 식당 영수증이나 호지킨-헉슬리 매개변수와 마찬가지로, 하나의 모델 안에서도 서로 다른 매개변수 조합이 같은 출력을 낼 수 있습니다. 한 단계 위인 모델 자체도 마찬가지입니다. 방정식 모양이 서로 다른 여러 모델이 같은 데이터를 똑같이 잘 설명할 수 있습니다. 같은 데이터로 에이전트를 두 번 돌리면 서로 다르면서도 똑같이 좋은 모델 두 개가 나올 수 있습니다. 그중 하나만 내놓는 에이전트는, 최적의 숫자 세트 하나만 보여 주는 것처럼 나머지를 가리는 셈입니다.

따라서 모델을 구축할 때도 제약할 때와 같은 방식으로 접근하는 편이 낫습니다. 데이터를 그럴듯하게 설명할 수 있는 모델의 전체 범위를 요청하는 것입니다.² AI 시스템이 후보를 여러 개 제안하면, 각 후보에 데이터가 얼마나 뒷받침하는지에 따라 가중치를 줍니다. 맞추는 데 유연성이 많이 필요한 모델은 자연스럽게 들어맞는 모델보다 낮게 평가합니다. 약한 후보는 탈락하고, AI 시스템은 강한 후보의 새로운 변형을 제안합니다.

이렇게 AI 에이전트는 최적의 모델 하나가 아니라 그럴듯한 모델의 분포를 내놓을 수 있고, 이 분포는 모델 하나로는 알 수 없는 것을 알려 줍니다. 살아남은 모델이 모두 어떤 특징을 공유한다면 데이터가 그 특징을 뒷받침할 가능성이 큽니다. 살아남은 모델들의 의견이 갈린다면 증거가 부족한 곳이 어디인지 드러나고, 연구자가 다음 실험의 방향을 잡는 데 도움이 됩니다.

너무 앞서 나가서는 안 됩니다. 지금까지 이런 시스템은 대부분 과학자들이 이미 아는 모델을 다시 발견하는 과제로 시험되었습니다. 알려진 답이 없는 문제에서도 통한다는 증거는 드뭅니다. 그래도 최신 LLM은 연구 과제에서 더 나은 성능을 보이고 있으며, 이런 시스템도 계속 좋아지리라 기대합니다.

번역 과정에서 길을 잃다: 모델을 해석하는 방법

모델을 만들고 제약했더라도 해석이라는 과제가 남습니다. 이 모델은 연구 대상인 실제 시스템에 대해 무엇을 말해 줄까요? 호지킨과 헉슬리의 '입자 네 개' 가설은, 통로가 열리기 전에 서로 다른 네 가지 일이 모두 일어나야 한다면 4제곱 방정식이 나오리라는 데서 출발했습니다. 그래서 세포막 안에서 이런 일이 벌어지고 있을지도 모른다고 제안했습니다. 앞에서 보았듯이 이들의 추정은 대체로 맞았습니다.

이 해석에 무게가 실린 것은 다른 가능성을 배제했기 때문입니다. 더 단순한 모델도 똑같이 잘 맞았다면 통로에 움직이는 부품이 여러 개 있다고 볼 이유가 없었을 것입니다. 대안이 실패했기에 그런 주장을 할 수 있었습니다. 정확한 개수에는 불확실성이 있었습니다. 호지킨과 헉슬리는 3제곱이나 4제곱이 필요하다고 밝히고 4제곱으로 정했습니다. 두 사람은 더 높은 거듭제곱이 약간 더 잘 맞을 수도 있지만, 그로 인한 "개선은 추가되는 복잡성을 감수할 만한 가치가 없다고 판단했다"고 썼습니다.

방정식 덕분에 호지킨과 헉슬리는 다른 여러 함의도 추론할 수 있었습니다. 예컨대 방정식은 신경세포에 전압 문턱값이 있어서 그 아래에서는 발화하지 않고 그 위에서는 발화하는 이유, 그리고 신경 펄스의 모양이 모두 같은 이유를 설명했습니다. 또 충분히 천천히 증가하는 전류는 세포를 절대 발화시키지 못하리라고 예측했습니다. 과학철학자들은 이론을 실행해 보지 않고도 그 결과를 도출할 수 있으면 그 이론을 '이해 가능하다(intelligible)고 부릅니다. 이 기준은 호지킨-헉슬리처럼 변수가 몇 개뿐인 모델에서는 통합니다. 변수가 수천 개에 이를 수 있는 더 큰 모델이라면, 모델을 다시 만들기에 충분한 몇 가지 핵심 메커니즘 개념으로 압축할 수 있는가가 이에 해당할 것입니다. 모델이 클수록 이는 더 어려워집니다.

세 단계 중 해석은 AI에 넘기기가 가장 어렵습니다. 목표를 정하기가 더 까다롭기 때문입니다. 모델이 데이터에 얼마나 잘 맞는지는 측정할 수 있어도, 시스템을 더 잘 이해하게 해 주는지는 측정할 수 없습니다. AI 시스템에 '이해'를 목표로 삼으라고 지시하는 방법도 분명하지 않습니다. 한 가지 제안은 시스템에 교란을 주었을 때 그 시스템이 어떻게 반응하는지 얼마나 잘 예측하는지로 AI 시스템의 이해도를 평가하는 것입니다. 또 다른 제안은 질문 자체를 우회해, 에이전트의 출력이 사람 과학자가 문제를 더 잘 이해하는 데 도움이 되는지를 묻는 것입니다. 한 예가 양자 실험을 설계하는 AI 시스템입니다. 이 시스템은 실험 구성 하나를 내놓는 대신, 서로 관련된 실험군 전체의 구성을 생성하는 짧은 프로그램을 쓰도록 학습되었습니다. 그러면 물리학자는 실험 구성 하나에서 역으로 추론하지 않고도 프로그램에서 바로 근본적인 설계 원리를 읽어낼 수 있습니다.

두 접근법 모두에서, 가장 잘 맞는 모델 하나가 아니라 적합한 모델의 전체 분포를 확보하는 것이 해석에 결정적입니다. 모델 하나만으로는 어느 부분이 데이터로 실제로 제약되는지 알 수 없어서, 제약되지 않는 부분에서도 의미를 읽어내기 쉽습니다. 앞에서 봤듯이 호지킨-헉슬리 모델에서도 입자 네 개 가설은 더 낮은 거듭제곱이 잘 맞지 않는다는 점을 알아야 의미가 있습니다. 모델의 범위를 확보하면 예측도 더 견고해집니다. 세포막의 나트륨 통로를 전부 또는 일부만 막는 식으로 시스템에 교란을 주면 어떻게 될지 모델들에 물어본다고 해 봅시다. 통로를 전부 막았을 때처럼 데이터에 맞는 모든 모델이 같은 답을 내놓는다면 그 답은 꽤 믿을 만합니다. 일부만 막았을 때처럼 모델마다 답이 갈린다면, 그것이 다음 실험의 아이디어가 될 수 있습니다.

세포와 규모

호지킨-헉슬리를 비롯해 유명한 모델은 대부분 간결합니다. 변수와 방정식이 몇 개뿐이어서 사람 과학자가 적어 내려가고 추론할 수 있을 만큼 작습니다. 이는 우연이 아닙니다. 사람이 만들고, 제약하고, 해석해야 했기에 간결할 수밖에 없었습니다. 작았기 때문에 이해할 수도 있었습니다. 그러나 AI가 더 많은 일을 맡으면서 크기 제한은 풀리기 시작할 것입니다. 사람이 손으로 적기에는 너무 복잡한 시스템도 모델링할 수 있게 됩니다. 방정식을 읽는 것만으로는 더 이상 이해할 수 없게 되더라도 말입니다.

뇌는 분명한 활용 사례입니다. 호지킨-헉슬리 방정식은 신경세포 하나를 설명합니다. 하지만 초파리의 뇌에는 10만 개가 넘는 신경세포가 있고 사람의 뇌에는 수백억 개가 있습니다. 행동과 사고는 이 뉴런들의 상호작용에서 생겨납니다. 초파리에 대해서는 이전 세대 과학자들에게는 불가능했던 것이 이제 있습니다. 모든 뉴런과 뉴런 간 연결을 보여 주는 뇌 전체의 배선도입니다.³ 연구자들은 이를 토대로 대규모 모델을 구축하기 시작했고, 그중에는 초파리 시각계 전반의 뉴런 활동을 예측하는 모델도 있습니다. 덕분에 이전에는 아무도 제대로 던질 수 없던 질문이 열렸습니다. 뇌 전체는 배선을 어떻게 행동으로 바꿀까? 동물 행동의 얼마만큼을 배선만으로 예측할 수 있을까? 어떤 연결이 실제로 중요할까?

그러나 이런 규모에서는 단 하나의 올바른 모델을 찾는 것이 불가능합니다. 사실 대부분의 경우 그런 모델은 존재하지 않습니다. 통계학자 조지 박스가 썼듯이, "모든 모델은 틀렸지만 그중 일부는 쓸모가 있다." 데이터는 언제나 여러 모델과 양립합니다. 이제 질문은 어느 모델이 옳은가가 아니라, 데이터와 양립하는 모든 모델이 공유하는 속성이 무엇이고 거기서 어떤 예측을 끌어낼 수 있는가가 될 것입니다. 가장 유용한 실험은 남아 있는 모델을 가장 많이 배제하는 실험일 것입니다. 사람 과학자가 가장 흥미롭게 여기는 실험이 아닐 수도 있습니다.

이는 신경과학에만 해당하는 이야기가 아닙니다. 기후 과학자들은 이미 이런 방식으로 일합니다. 조금씩 다른 가정에 기반한 거대한 수치 시뮬레이션을 여러 개 만들고, 그 전체에 걸친 분포를 예측으로 보고합니다. 대형 강입자 충돌기의 입자물리학자들도 비슷한 정신으로 일합니다. 새로운 입자를 찾을 때 특정 이론이 맞는지 틀린지만 선언하지 않고, 이론의 어떤 버전이 데이터로 배제되고 어떤 버전이 열려 있는지 지도로 만들어 냅니다.

호지킨과 헉슬리가 했던 공들인 작업, 즉 모델을 만들고, 곡선을 하나하나 눈으로 맞추고, 맞지 않는 거듭제곱을 시도하고, 헉슬리의 경우 3주 동안 기계식 계산기의 손잡이를 돌리던 일로 돌아가고 싶지는 않습니다. 그렇다고 그 노력이 헛된 것은 아니었습니다. 모델이 주는 통찰의 상당 부분은 모델을 만드는 과정에서 나옵니다. 호지킨과 헉슬리는 모델을 직접 만들었고 무엇이 통하지 않았는지도 알았기에 모델이 전하는 바를 이해할 수 있었습니다. 이 이해 덕분에 통로 변수에 대한 해석을 정립할 수 있었고, 이는 두 사람에게 노벨상을 안겨 준 발견의 일부였습니다.

이제 AI 시스템이 같은 작업의 상당 부분을 오후 한나절 만에 해낼 수도 있습니다. 그러나 이해를 제공하려면 두 과학자가 더디게 작업하며 얻은 것을 내놓아야 합니다. 데이터에 맞는 모델뿐 아니라, 어느 부분이 데이터로 확정되고 어느 부분이 아직 열려 있는지, 그 과정에서 어떤 대안이 실패했는지, 어떤 새로운 의문이 드러났는지에 대한 설명까지 말입니다. 과학 모델은 답을 줄 수 있지만, 통찰을 주는 것은 모델을 만드는 과정입니다.