카파시의 LLM 위키를 한 달간 써본 결과, 문제는 설정이 아니라 유지보수였다
After a month on Karpathy's LLM Wiki, the bottleneck isn't setup. It's maintenance
핵심 요약
LLM 위키 구축은 쉽지만, 소스 데이터의 갱신과 동기화를 관리하는 유지보수가 실제로는 훨씬 더 큰 난관이라는 경험담입니다.
- 구축의 용이성 — 초기 설정은 Claude와 Obsidian 조합으로 쉽게 가능함
- 데이터 정제 — 스캔된 PDF나 복잡한 웹사이트의 텍스트 추출이 매우 어려움
- 유지보수 문제 — 소스 변경 시 위키 전체를 재구축해야 하는 비효율성 발생
- 상태 투명성 — AI가 생성한 요약본이 어떤 시점의 데이터를 기반으로 했는지 알기 어려움
안드레 카파시 트윗 올라오자마자 읽은 사람 중 하나인데, 보자마자 딱 감이 오더라. 자료들 폴더에 다 때려 박고, AI한테 싹 다 읽혀서 위키 하나 만든 다음에, 원문 뒤질 필요 없이 그냥 위키한테 물어보는 거. 이거 한번 맛보면 절대 예전으로 못 돌아감.
지난 한 달 동안 직접 만들어봤거든. 배우면서 느낀 점들을 순서대로 정리해 봄.
1주 차: 세팅은 껌이지
주말 동안 Claude랑 Obsidian 조합해서 기본 버전 만드는 건 충분했음. 기사나 PDF 한 80개 정도 먹였는데, 일요일 밤 되니까 알아서 요약하고 관련 내용끼리 링크까지 걸어주는 위키가 뚝딱 나오더라. 진짜 마법인 줄 알았음. 친구 두 명한테 카파시가 진짜 대단한 거 하나 찾아냈다고 호들갑 떨었지.
2주 차: 슬슬 균열이 보임
근데 지저분한 소스에서 깔끔한 텍스트 뽑아내는 게 진짜 지옥임. 스캔 뜬 PDF는 외계어처럼 나오고, 어떤 사이트는 프로그램이 읽으려고 하면 제대로 로딩도 안 됨. 표는 다 깨지고, 각주는 본문에 섞여서 난장판 됨. 새로운 소스 하나 추가할 때마다 저녁 시간 다 날려 먹으면서 개고생함.
3주 차: 진짜 문제는 여기서 터짐
기사 50개를 한 번에 추가했는데 위키가 그게 새로 들어온 건지 아예 모르더라. 이걸 제대로 반영하려면 AI가 처음부터 다시 다 읽고 정리해야 하는데, 40분이나 걸리고 API 비용도 꽤 나감. 그러다 예전에 요약해둔 것들 보니까 몇 주 전에 업데이트된 기사를 인용하고 있는 걸 발견함. 위키는 이미 사라진 옛날 버전 정보를 나한테 당당하게 떠들고 있었던 거임.
그때 머리를 한 대 맞은 것 같더라. 카파시 방식은 소스가 고정되어 있다는 전제가 깔려 있음. 근데 실제 연구가 어디 그래? 기사는 업데이트되고, 글은 삭제되고, 자료는 계속 추가되는데. 스냅샷 기반으로 만든 위키는 만드는 순간부터 썩기 시작하는 거였음.
계속 부딪혔던 유지보수 문제들:
요약본이 썩음. 소스가 업데이트돼도 요약본은 옛날 정보 그대로임. 뭐가 잘못됐는지 알려주는 놈도 없음.
뭐가 바뀐 건지 알 방법이 없음. 소스가 수정된 걸 알아도, 그게 다시 요약할 만큼 중요한 건지 판단할 방법이 없음.
새 자료 추가하려면 처음부터 다시 해야 함. 전체 위키를 갈아엎지 않고 새 소스만 깔끔하게 끼워 넣을 방법이 없음.
삭제는 업데이트보다 더 골치 아픔. 소스를 지워도 위키는 유령처럼 계속 그 내용을 참조함.
사이트 디자인 바뀌면 파싱 방식도 달라짐. 요약본 깨지기 전까지는 알 수도 없음.
이건 프롬프트 문제가 아님. 어떤 AI 모델을 쓰느냐의 문제도 아니고. 핵심은 밑바닥에 깔린 소스 뭉치를 어떻게 계속 신선하고 깔끔하게 유지하느냐인데, 아무도 이 얘기는 안 하더라.
4주 차: 포기하고 노코드 옵션 기웃거림
패배한 기분임. 나만 이러고 있는 건가 싶기도 하고. 내가 놓친 게 있나 싶어서 다시 처음부터 고민해 보려고 노코드 옵션들 찾아보는 중임. 혹시 내가 뭘 잘못하고 있는 거면 좀 알려줄 사람?
진짜 맹세하는데, 튜토리얼이란 튜토리얼은 다 보고 관련 글들도 다 뒤져봤거든. 근데 나만 안 되는 건지 모르겠네.
지금 카파시식 LLM 위키를 대체할 노코드 솔루션들 쇼핑 중임. 고려 중인 것들은 아래와 같음. 혹시 이거 써보고 성공한 사람 있음?
Claude + Notion: 노코드는 아니지만 Obsidian 대신 쓸만한 꽤 괜찮은 대안 같음. MCP(Model Context Protocol) 연동도 깔끔하고, 단순히 지식 관리만 하는 게 아니라 할 일이나 알림 설정도 할 수 있어서 좋음. 워크플로우가 완전히 똑같진 않지만, 살짝 비튼 버전이라 꽤 쓸만해 보임. 단점은 Notion이 유튜브 영상이나 PDF 처리는 좀 별로라는 거.
Mymind: 이거 진짜 기대 중인데 아직 확신이 안 섬. 사이트 디자인은 진짜 예쁘고 보고 있으면 마음이 평화로워지는데, 이게 진짜 평생 쓸 '제2의 뇌'가 될지, 아니면 그냥 예쁜 '지식 핀터레스트'가 될지 모르겠음. 써본 사람 있음? 좀 알려줘.
Recall: 카파시가 말한 거랑 가장 비슷한 AI 지식 베이스임. 유튜브, 팟캐스트, PDF 등 거의 모든 온라인 콘텐츠를 다 넣을 수 있고, 알아서 읽고 요약하고 태그 달고 연결까지 다 해줌. 문제는 클라우드 기반이라는 거.
