코딩을 위한 프로덕션급 AI 시스템 구축 모범 사례

이전 직장에서 비슷한 걸 해봤는데, AI 시스템이 레거시 코드베이스를 제대로 이해하게 하려니 자꾸 존재하지도 않는 함수를 지어내더라고(hallucinating).

관심 있으면 위에 있는 거 그냥 복사해 줄게: Claude.md 파일을 만들어서 지금까지 한 모든 작업에 대한 md 파일을 생성하고 새로 배운 내용을 기록하는 규칙이 필요해. 예를 들어: errors, implementations, codebase 이렇게 3개 폴더를 만드는 거지. errors 폴더에는 발생한 에러와 해결 방법, implementations 폴더에는 네 프롬프트와 무엇을 어떻게 구현했는지, codebase 폴더에는 시작 시점부터 코드베이스가 어떻게 변했는지, 새로 추가된 파일과 기존 파일 비교 등을 md 파일로 정리하는 거야.

Claude.md를 만들어서 지금까지 한 모든 작업이랑 새로 배운 내용을 md 파일로 기록하게 규칙을 정해봐. 예를 들어 폴더 3개(errors, implementations, codebase)를 만드는 거지. errors 폴더엔 발생한 에러랑 해결 방법, implementations 폴더엔 프롬프트랑 구현 내용, codebase 폴더엔 시작 시점부터 코드베이스가 어떻게 변했는지(새로 만든 파일, 삭제/수정된 파일 등)를 기록하는 거야. 각 md 파일 이름은 date_hour_second 형식으로 하고.

Claude Code를 만들고 싶은 건가요?

내가 겪어본 가장 큰 함정은 리트리벌 레이어의 청킹 전략이야. 대부분은 고정 토큰 단위로 문서를 쪼개는데, 코드나 Confluence 문서는 함수나 섹션 같은 논리적 단위가 그대로 유지돼야 하거든. 함수 중간을 잘라버리면 모델이 버그를 추론하는 데 필요한 맥락이 다 날아가 버려. 단순하게 글자 수로 쪼개는 것보다 Semantic이나 AST 기반 청킹을 쓰면 hallucination이 훨씬 줄어들어.