r/AI_Agents•5개월 전•132•30
안드레 카파시의 'LLM 위키'를 직접 구축해 본 후기: 무엇이 효과적이고 무엇이 문제인가
Spent a weekend actually understanding and building Karpathy's "LLM Wiki" — here's what worked, what didn't
핵심 요약
안드레 카파시의 LLM 위키 개념을 직접 구현해 보고, RAG와 비교하여 장단점과 실사용 사례를 분석함.
- LLM 위키 개념 — RAG처럼 실시간 검색 대신 LLM이 소스를 읽고 구조화된 마크다운 위키로 컴파일함.
- 구축 장점 — 합성 질문에 대한 답변 품질이 뛰어나고, 옵시디언 그래프 뷰를 통해 지식의 연결성을 시각화할 수 있음.
- 주요 한계점 — LLM이 잘못 요약하면 오류가 확산되며, 대규모 데이터셋에서는 비용 부담이 큼.
- RAG와의 차이 — RAG는 실시간 데이터나 대규모 검색에, LLM 위키는 소규모 개인 연구나 지식 관리에 적합함.
안드레 카파시의 LLM 위키 gist가 지난달 화제가 된 후, 이게 정말 좋은 건지 아니면 그냥 과장된 건지 확인하려고 직접 끝까지 구축해 봤음. 대부분의 글이 'RAG는 이제 끝났다'는 식의 호들갑이거나 '확장성이 없다'는 식의 냉소적인 반응뿐이라 솔직한 후기를 공유함.
개념 요약 (gist를 읽었다면 건너뛰어도 됨):
쿼리 시점에 원시 문서 청크를 검색하는 RAG와 달리, LLM이 각 소스를 한 번 읽고 구조화된 상호 연결 마크다운 위키로 컴파일함. 새로운 소스는 기존 페이지를 업데이트함. 지식은 매 쿼리마다 재도출되는 대신 축적됨.
놀라웠던 점 (장점):
- 합성 질문의 품질이 훨씬 좋음. '서튼의 쓴맛 교훈(Bitter Lesson)과 카파시의 소프트웨어 2.0 에세이가 어떻게 연결되는가?'라고 물었을 때, 문서 내부에 있는 내용이 아니라 문서 간에 존재하는 연결 고리를 찾아 교차 참조된 답변을 얻었음.
- 설정이 쉬움. Claude Code(Any Agent) + Obsidian + 폴더 하나면 충분함.
- 소스 10개 정도 넣고 본 옵시디언의 그래프 뷰는 정말 만족스러움. 실제 네트워크화된 사고를 보는 느낌임.
문제가 될 수 있는 부분 (현실적인 한계):
- 환각(Hallucination)이 '사실'로 굳어짐. LLM이 수집 과정에서 논문을 약간 잘못 요약하면 그 영향이 전체로 퍼짐. 린트(lint) 단계는 필수임.
- 수집 비용이 비쌈. 개인적인 소규모 지식 관리에는 좋지만, 기업의 방대한 문서 덤프에는 고통스러움.
실제로 사용할 만한 경우:
- 200개 미만의 큐레이션된 소스를 사용하는 개인 연구 프로젝트
- 책을 읽으면서 팬 위키를 만들어 나갈 때
- 몇 달에 걸쳐 진화하는 특정 주제를 추적할 때
- 회의록으로 채워지는 내부 팀 위키
RAG를 계속 사용할 경우:
- 지속적으로 업데이트되는 문서에 대한 고객 지원
- 인용 추적성이 중요한 법률/의료 분야 검색
- 1000개 이상의 소스나 변경 사항이 많은 경우
'RAG는 죽었다'는 프레임은 틀렸음. 둘은 서로 다른 문제를 해결함.
