Claude Code로 예전 세션에서 스킬을 직접 작성하는 대신 추출해 봤음
I let Claude Code distill a skill out of my old sessions instead of writing one by hand
핵심 요약
Claude Code를 활용해 과거 세션 기록에서 배포 흐름을 스킬로 자동 추출한 경험과 그 장단점을 공유함.
- 스킬 자동 추출 — 과거 세션 기록을 분석해 배포 흐름을 문서화함
- memU 활용 — 오픈 소스 도구로 AI가 맥락을 기억하게 함
- 유지보수 용이성 — 마크다운 형식이라 수정 및 삭제가 간편함
- 검증의 필요성 — 자동 생성된 스킬의 정확성을 어떻게 유지할지 고민함
Claude Code가 한 레포지토리의 예전 세션들을 다시 읽고 배포 흐름을 스킬로 작성하게 해봤어. 몇 달 동안 그 흐름을 제대로 문서화하려고 마음만 먹고 한 번도 안 했거든. 이제는 세션 시작할 때마다 환경 설정처럼 알아서 불러와져.
참고로, 여기서 기억을 담당하는 도구인 memU를 내가 개발하고 있어. 무료 오픈 소스고 Apache-2.0 라이선스야.
설치 과정이 내가 사람들에게 계속 강조하는 부분인데, 따로 실행할 설정 스크립트가 없어. 에이전트를 SKILL.md 파일이 있는 곳으로 지정해주면, 얘가 어떤 환경에 있는지 파악하고 나머지는 알아서 다 해.
이게 저장하는 건 그냥 일반 마크다운 파일이야. 파일을 열어서 유효하지 않게 된 줄을 수정하거나, 필요 없는 내용을 지울 수도 있어. 이게 생각보다 훨씬 중요하더라고. 내 CLAUDE.md 파일이 예전에는 맞았지만 지금은 틀린 내용들로 조용히 가득 차 있었는데, 내가 너무 대충 읽어서 눈치채지 못했었거든.
계획에 없던 장점도 있는데, 내가 작업할 때 Codex도 같이 쓰거든? 근데 얘가 Claude Code가 적어둔 규칙들을 알아서 따라가더라고. 덕분에 노트를 두 군데에 따로 적을 필요가 없어졌어.
확신이 안 서는 건 '추출(distilling)' 과정 자체야. 내가 직접 손으로 쓴 스킬은 의도적이라 뭘 넣을지 내가 선택하잖아. 반면에 세션 로그에서 뽑아낸 스킬은 그날 내가 실제로 한 행동들이 다 들어있어서, 잘못된 경로까지 포함돼 있어. 다시 읽어보면 어떤 버전이 좋은 건지 항상 알 수가 없더라고. 지금은 내가 직접 읽으면서 줄을 지우고 있는데, 이건 당연히 확장성이 없겠지.
혹시 스킬을 직접 작성하는 대신 생성하고 있다면, 생성된 스킬의 무결성을 어떻게 유지하고 있어?
