Karpathy가 말한 LLM 지식 베이스의 "놀라운 신제품" 아이디어, Claude Code 스킬로 구현해봤습니다

시스템이 장기적으로 돌아갈 때 주로 유용함. 개념의 변화(concept drift), 충돌하는 입력값, 결정 경로, 진화하는 가정들을 추적할 수 있거든. 그거 없으면 에이전트 상태가 서서히 불일치하게 됨.

확실히 지시사항을 따르게 만드는 게 고역임. 가끔 에이전트가 스킬에 적힌 단계를 안 따를 때가 있음. 모델 지능이 확실히 중요함. 난 Sonnet 4.6으로 스킬을 만들었는데, Composer 2는 이걸 다 따라가는 게 엉망이더라고.

나도 그런 거 본 적 있음. 더 좋은 모델이 도움이 되긴 하지만, 정확성이 지시 이행(instruction following)에만 의존한다면 여전히 취약하다고 봄. 강력한 모델조차 결국엔 엇나가는데, 특히 장기 실행 시스템에선 더함. 그래서 난 정확성이 모델의 완벽한 행동에만 의존하지 않도록 외부 구조나 검증 장치가 있는 걸 선호함.

솔직히 이건 신뢰도 등급을 매기는 Haiku 스웜이랑 결정권자 역할을 하는 Opus를 쓰는 게 딱일 듯. Anthropic 공식 코드 리뷰 플러그인도 비슷한 방식을 쓰는데 잘 작동하는 것 같더라고. 지식 보관소 변경에도 적용 못 할 이유가 없지.

자기 작업물 인정해달라고 인터넷에서 구걸하는 꼴을 보니 프로그램 퀄리티가 뻔하네. 오픈 소스 플랫폼이 드디어 유튜브화되는 걸 보니 참 기쁘다. 내 고퀄 댓글이 맘에 들면 좋아요랑 구독 부탁함. 개념 잡는 것부터 최종 포스팅 저장까지 꼬박 3주 걸렸고, 여러분이 알고 싶어 하는 걸 계속 리포팅하는 데 여러분의 지지가 큰 힘이 됨.

진짜 멋진 구현이네. 코드 AST 추출이 인상적임. 사람들이 방식을 선택할 때 참고할 만한 점은, Graphify는 Claude Code 스킬 기반(코딩 워크플로우 내부)인 반면, LLM Wiki Compiler는 코드뿐만 아니라 URL, 파일, 문서 등 모든 소스에서 작동하는 독립형 CLI라는 거임. 솔직히 유스케이스가 다름. 코드 비중이 높은 환경에서 일하는 개발자라면 Graphify가 말이 됨. 만약 혼합된 소스에서 일반적인 지식 베이스를 원한다면...

생 텍스트(raw text)에 커뮤니티 탐지를 쓴다고?

아니, 생 텍스트에 하는 건 아님. 그러면 embedding 없이는 환각(hallucinations)이 너무 심할 테니까. 지금은 컨텍스트를 아끼기 위해 관계를 탐색하고 있어서, 일단 그래프 차수(graph degree)를 이용해 관계를 클러스터링했음.