nbdev 상용화에 대하여

몇몇 지인들이 왜 nbdev를 상용화하지 않기로 했는지 물어왔습니다. 특히 전업으로 매달릴 만큼 많은 노력을 쏟은 프로젝트인데 말이죠. 그래서 짧게나마 그 이유를 정리해 보려 합니다.

배경

nbdev는 문학적(literate) 프로그래밍과 탐색적(exploratory) 프로그래밍을 지향하는 혁신적인 Python 소프트웨어 개발 프레임워크입니다. 2020년부터 2023년까지 Jeremy Howard, 그리고 이후 합류한 Wasim Lorgat와 함께 이 프로젝트를 진행했습니다. 뛰어난 소프트웨어 엔지니어들과 협업하며 개발자 도구와 탐색적 프로그래밍의 가능성을 탐구할 수 있었던 건 큰 행운이자 즐거운 경험이었습니다. 많은 분들이 좋아해 주신 도구를 만들었을 뿐 아니라, 저 자신도 개인 프로젝트와 업무에서 nbdev를 즐겨 사용했습니다.

기회 탐색

제품 리서치 과정에서 다양한 배경의 개발자들을 인터뷰하며 이들의 고충과 요구사항을 파악했습니다. 인터뷰한 모든 개발자가 공통적으로 겪는 핵심 과제가 하나 있었습니다. 바로 다른 엔지니어들에게 nbdev 사용을 설득하기가 매우 어렵다는 것이었습니다.

도입을 가로막는 가장 큰 요인은 다음과 같았습니다:

• 엔지니어 온보딩 과정의 마찰. 대부분의 회사에는 이미 운영 중인 Python 프로젝트가 있고, 기존에 확립된 프로세스와 도구 위에서 또 다른 방식을 병행하는 것은 오히려 역효과를 낳을 수 있습니다.
• 기존 소프트웨어 개발 스택과의 충돌: 협업에 적합한 방식으로 노트북을 버전 관리하는 일은 당시에도, 지금도 여전히 고통스러운 작업입니다. 사실상 ReviewNB라는 도구를 구매하지 않으면 GitHub에서 노트북에 대한 코드 리뷰를 제대로 수행할 수 없습니다. 결국 nbdev만 설득하면 되는 게 아니라, nbdev와 ReviewNB를 함께 설득해야 하는 셈입니다. 많은 조직에서 소프트웨어 도입 자체가 보안 검토, 컴플라이언스, 법무 등 다양한 이해관계자가 관여하는 복잡한 프로세스이기 때문에, 초기 도입 장벽이 상당히 높아집니다.

저는 이러한 문제들을 해결하는 것이 곧 nbdev 상용화의 기회가 될 수 있다고 봤습니다.

방향 전환

Jeremy, Wasim과 저는 결국 "개발자를 위한 WordPress"라는 아이디어에 합의했습니다. 별도의 설치 없이 nbdev 프로젝트를 만들고 공유할 수 있는 호스팅 사이트를 구축하자는 구상이었습니다. 탐색과 공유를 장려하는 플랫폼에서 프로젝트를 호스팅하고 싶은 사람들을 타깃으로 삼되, Glitch처럼 탐색적이면서도 Wordpress만큼 쓰기 쉽고 실용적인 서비스를 목표로 했습니다.

호스팅 도구를 논의하기 시작한 무렵, 머신러닝 세계에 거대한 지각변동이 일어났습니다. 생성형 AI, 특히 Stable Diffusion의 폭발적인 등장이었죠. nbdev를 만든 조직인 fast.ai 역시 방향을 전환하고 있었습니다. fast.ai의 핵심 사명은 딥러닝을 최대한 많은 사람에게 접근 가능하게 만드는 것이었고, 생성형 AI는 무시하기엔 너무 중요한 흐름이었습니다. 이에 따라 Jeremy는 Stable Diffusion 강좌에 역량을 집중하게 되었습니다.

이 피벗으로 인해 nbdev, 생성형 AI 연구, 수익화라는 서로 다른 우선순위 사이에서 상당한 혼란이 있었습니다. 결국 fast.ai 관련 전반에 대한 컨설팅 서비스를 fast.ai partners 형태로 제공하기로 했습니다. 이를 통해 재정적으로 자립하면서도 생성형 AI와 연구를 포함한 fast.ai의 더 큰 사명을 함께 추구할 수 있었습니다. 하지만 결국 너무 많은 영역에 분산된 관심이 비생산적이라는 결론에 이르렀고¹, 컨설팅을 제외한 모든 것에서 손을 떼고 다시 기반을 다지기로 했습니다.

얼마 지나지 않아 ChatGPT가 등장했고, 텍스트-이미지 모델과는 비교할 수 없을 정도로 큰 변화를 머신러닝 분야에 가져왔습니다. 곧 모든 클라이언트가 언어 모델에 관심을 보이기 시작했고, 저는 자연스럽게 LLM 운영화(operationalization)에 전념하게 되었습니다(20년 넘게 머신러닝 분야에서 쌓아 온 전문성이기도 합니다). 더불어 LLM은 소프트웨어 개발 방식 자체를 근본적으로 바꿔 놓았는데, 특히 nbdev가 지원하고자 했던 유형의 개발이 그러했습니다². 이러한 요인들과 앞서 언급한 문제들을 종합해 보면, nbdev에서 한 발 물러나 다른 일에 집중할 적절한 시점이라는 판단이 섰습니다.

배운 점

이 과정에서 몇 가지 중요한 교훈을 얻었습니다:

1. 프로젝트를 좋아하고 유용하게 쓴다고 해서 반드시 상용화에 적합한 것은 아닙니다. nbdev에 적절한 비즈니스 모델이 있다는 확신을 갖기가 늘 어려웠습니다.³ 솔직히 말하면, 정말 좋아하는 사람들과 함께 사업을 시작한다는 매력에 이끌려 이 길을 걸었던 겁니다. 결국 깨달은 것은, 함께 일하는 사람들에 대한 설렘과 더불어 사업 자체에 대한 강한 확신이 최소 한 사람에게는 반드시 있어야 한다는 점입니다. 둘 중 하나만으로는 부족합니다.⁴ 또한 자신과 팀의 확신 수준에 대해 솔직해지는 것이 중요하며, 없는 확신을 억지로 만들어 내려 해서는 안 된다는 것도 배웠습니다.
2. 직감에 귀를 기울이세요. 이 여정에서 여러 차례 직감을 무시했습니다. 나이가 들면서 그런 실수를 훨씬 줄이게 되었지만, 이 프로젝트에서는 좀 더 잘할 수 있었을 겁니다.
3. 방향 전환을 두려워하지 마세요. 전망이 밝지 않은 상황에서 빠져나옴으로써 불필요한 소모를 피할 수 있었다고 생각합니다. 지금 하고 있는 일이 훨씬 더 기대됩니다.⁵
4. 자신만의 브랜드를 구축하세요. 저의 전문가 브랜드가 점점 fast.ai와 친구인 Jeremy Howard에 묶이게 되었습니다. 그 멘토십 아래에서 성장할 수 있었던 것에 감사하지만, 자신만의 고유한 브랜드와 정체성을 만들어 가는 것은 매우 중요합니다. 다른 사람의 프로젝트에서 일하면서 자기 브랜드를 키우기란 쉽지 않다는 것을 체감했고⁶, 저도 이 부분에서 많이 고민했습니다. 앞으로 이 점에 더 힘을 쏟을 생각입니다.

앞으로의 방향

nbdev와 완전히 인연이 끝난 것 같지는 않습니다. 적절한 시기가 오면 이 프로젝트나 관련 아이디어를 다시 꺼내 볼 수도 있습니다. Posit이 문학적 프로그래밍과 탐색적 프로그래밍 분야에서 진행하고 있는 작업이 흥미로운데, nbdev에서 탐구했던 아이디어들이 많이 반영되어 있습니다. Wasim도 Posit 팀에 합류했으니, 어떤 결과물이 나올지 기대가 큽니다.⁷

다음에 어떤 일을 하고 있는지는 다른 글에서 풀어보겠습니다 😊.